跳到正文
原文
arXiv cs.AI· Yuyang Dai, Yushun Dong·· 4 小时前AI 评分36

轨迹检索投机解码:模型自身历史何时有用?

Trajectory-Retrieval Speculative Decoding: When Does a Model's Own History Help?

AI 导读

TLAR 方法从当前推理轨迹中检索近似匹配的续写,按近期验证结果自适应调整检索激活与候选宽度,并与模型生成的草稿合并进共享候选树,经精确验证保持目标模型输出分布。在代码调试、数学和开放式写作评测中,它与强检索基线组合,在相同验证预算下提升 token 接受率,并较草稿模型基线提高端到端吞吐。

来源:arXiv cs.AI · arxiv.org