AGI Hunt· cephaloform·· 4 小时前AI 评分46
Prefix Sliding 论文:免训练令长推理提速 3 倍,打破记忆上限
AI 导读
arXiv 新论文 Prefix Sliding 提出免训练的长推理加速方法:推理时只保留关键指令与工具信息组成的「前缀」和最近几千 token 的滑动窗口,其余中间推理 token 直接丢弃。该方案让现有模型提速 3 倍且性能不掉,配合 RL 训练可扩展到超过 10 万 token 的推理轨迹,消融效果优于中间 token 摘要与朴素滑窗,代码已开源。
来源:AGI Hunt · agihunt.info