跳到正文
原文
AGI Hunt· Eliezer Shlomi·· 2 小时前AI 评分37

SPOT:通过提交顺序预测将扩散语言模型解码加速最高 6.8 倍

SPOT:通过提交顺序预测将扩散语言模型解码加速最高6.8倍

AI 导读

Eliezer Shlomi 发布 SPOT,一种通过预测 token 提交顺序加速扩散语言模型解码的投机解码方法。该方法先提交高置信 token,再并行验证候选,最多减少 6.8 倍前向传播次数,并保持精确解码、不改变输出分布。在 SDAR-8B/GSM8K 上,SPOT 与 Draft-free、Spiffy 等基线进行了回放对比。

来源:AGI Hunt · agihunt.info