跳到正文
原文
AGI Hunt· alec_helbling·· 2 小时前AI 评分25

Alec Helbling:扩散语言模型新方法可视为「循环自条件化」

Alec Helbling:新方法可视为「循环自条件化」

AI 导读

Alec Helbling 提出,近期一类扩散语言模型方法可理解为「循环自条件化」:模型获得与扩散时间步解耦的额外深度维度。区别在于不推进扩散时间,而是对干净的预测结果做 K 步循环精炼,常规自条件化采样则每次迭代都推进时间。Luca Ambrosino 补充称,self-conditioning 正成为语言扩散模型的标配。

来源:AGI Hunt · agihunt.info