跳到正文
原文
AGI Hunt· LucaAmb·· 14 小时前AI 评分45

首个大规模连续扩散语言模型 Sigma 发布,3B/8B 媲美自回归

AI 导读

研究者发布 Sigma,首批大规模(3B/8B)以似然训练的连续扩散语言模型(dLM),在数学与编码任务上成绩与离散扩散 LM 及自回归模型相当。连续表征让推理时干预(inference-time interventions)研究更有意义,可用于分析扩散模型的生成过程。

来源:AGI Hunt · agihunt.info