NVIDIA 提出连续扩散语言模型 Sigma
先了解这件事
2026-10-05 中午，arXiv cs.CL 刊出研究，提出 Sigma，称其为首个 3B/8B 规模的大语言连续扩散模型，基于可操控的低维 ODE/SDE 潜轨迹，并用预训练自回归模型权重热启动。报道称，推理阶段的无分类器引导与 score temperature 是高保真推理与编码的关键；在 GSM8K、Minerva、HumanEval、MBPP 上与掩码 dLM 和 AR 基线持平，微调后在 MATH-500、AIME 等推理任务上具备竞争力。同日 15:06，AGI Hunt 报道 Sigma 发布，称其是首批以似然训练的大规模（3B/8B）连续扩散语言模型，数学与编码成绩与离散扩散 LM 及自回归模型相当，并提到连续表征让推理时干预研究更有意义。当晚 22:17，AGI Hunt 再次补充，称扩散语言模型预训练后在数学与代码任务上与 masked dLM 和 AR 基线相比具有竞争力，经 SFT 后在困难推理上接近基线，并在指令遵循与通用知识上略有优势；该结果来自 ricklamers 转发的 10 条线程中的第 6 条，完整结果需查看原线程。目前各报道之间未见数字或说法上的冲突。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- AGI Hunt扩散语言模型追平离散基线：数学代码成绩接近 AR 模型
扩散式语言模型（dLM）预训练后在数学与代码任务上，与 masked dLM 和自回归（AR）基线相比具有竞争力，覆盖 GSM8K、Minerva、HumanEval、MBPP。经 SFT 后，它在困难推理上接近基线，并在指令遵循与通用知识上略有优势。相关结果来自 ricklamers 转发的 10 条线程中的第 6 条，完整结果需查看原线程。
- AGI Hunt首个大规模连续扩散语言模型 Sigma 发布，3B/8B 媲美自回归
研究者发布 Sigma，首批大规模（3B/8B）以似然训练的连续扩散语言模型（dLM），在数学与编码任务上成绩与离散扩散 LM 及自回归模型相当。连续表征让推理时干预（inference-time interventions）研究更有意义，可用于分析扩散模型的生成过程。
- arXiv cs.CLSigma：首个 3B/8B 规模的大语言连续扩散模型
研究者提出 Sigma，首个 3B/8B 规模的大语言连续扩散模型，基于可操控的低维 ODE/SDE 潜轨迹，并用预训练自回归模型权重热启动。推理阶段，无分类器引导与 score temperature 被确认为高保真推理和编码的关键。在 GSM8K、Minerva、HumanEval、MBPP 上与掩码 dLM 和 AR 基线持平，微调后在 MATH-500、AIME 等推理任务上具备竞争力。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。