arXiv cs.CL· Geonmo Gu, Byeongho Heo, HeeJae Jun, Yoohoon Kang, Sangmin Lee, Sangdoo Yun, Dongyoon Han·· 4 小时前AI 评分39
DLoop:循环式投机解码
DLoop: Looped Speculative Decoding
AI 导读
DLoop 提出一种循环式投机解码,在验证前自适应地执行多轮起草,并一次性验证累积的 draft tokens。其 loop-aware training 让 draft model 接触未验证 token 的自身 hidden states,以保持新增起草阶段的可靠性。
来源:arXiv cs.CL · arxiv.org