arXiv cs.CL· Zhihan Yang, Wei Guo, Jean-Marie Lemercier, Simon Welker, Yonggan Fu, Mohammad Mahdi Kamani, Sajad Norouzi, Julius Berner, Tomas Geffner, Karsten Kreis, Yongxin Chen, Molei Tao, John Thickstun, Pavlo Molchanov, Ante Juki\'c, Arash Vahdat, Morteza Mardani·· 17 小时前AI 评分41
Sigma：首个 3B/8B 规模的大语言连续扩散模型
Large Language Continuous Diffusion Models
AI 导读
研究者提出 Sigma，首个 3B/8B 规模的大语言连续扩散模型，基于可操控的低维 ODE/SDE 潜轨迹，并用预训练自回归模型权重热启动。推理阶段，无分类器引导与 score temperature 被确认为高保真推理和编码的关键。在 GSM8K、Minerva、HumanEval、MBPP 上与掩码 dLM 和 AR 基线持平，微调后在 MATH-500、AIME 等推理任务上具备竞争力。
来源：arXiv cs.CL · arxiv.org