arXiv cs.CL· Yuan Pu, Yudong Lu, Ting Wang, Zhicong Hong, Qinuo Li, Xuansheng Wu, Na Zou, Xia Hu, Guanchu Wang·· 4 小时前AI 评分43
OpenESM：能量引导模型具备可扩展的基础学习能力
OpenESM: Energy-Steered Models Are Scalable Foundation Learners
AI 导读
OpenESM 提出能量引导模型 ESM，在单一架构内融合能量引导与 token 生成：先优化能量地形上的隐状态，再据此生成 token。在三个大规模语料上完成能量引导预训练、26 个下游任务评测中，ESM 随模型规模与训练数据增长展现可扩展性，并在多数任务上优于 GPT。模型权重与训练基础设施已完全开源。
来源：arXiv cs.CL · arxiv.org