arXiv cs.CL· Darshan Thaker, Lachlan Ewen MacDonald, Ren\'e Vidal·· 4 小时前AI 评分33
FastGuide：加速扩散大语言模型的奖励引导
FastGuide: Accelerating Reward Guidance for Diffusion Large Language Models
AI 导读
FastGuide 用并行与自回归解码的自适应混合来加速扩散大语言模型的奖励引导，在三个奖励基准上比顺序奖励引导解码最高快 4.4 倍，并保持相近的生成质量。它按每个解码步骤计算一次引导并复用于多个 token，借助 KV 缓存与注意力稀疏重算降低开销，模型不自信的 token 会被推迟解掩。
来源：arXiv cs.CL · arxiv.org