arXiv cs.CL· Yukai Jin, Zhankai Ye, Jiayue Yang, Fangyi Li, Shuoqiu Li, Xu Gao, Shibo Li, Xin Liu, Shangqian Gao·· 4 小时前AI 评分43
TraceQuery：从扩散语言模型的全去噪轨迹中学习重算哪些位置
TraceQuery: learning what to recompute from full-denoising trajectory in diffusion language models
AI 导读
TRACEQUERY 是一个面向扩散语言模型（dLLM）的轻量稀疏解码框架，将高效推理转化为轨迹引导的查询：用全去噪轨迹监督预测少量近未来轨迹相关位置，仅对这些候选做新鲜计算，再由主干从中选择一个提交。它在基于缓存的方法中取得最强的质量-计算权衡，在显著减少新鲜 token 计算的同时保持高准确率，并可跨任务、模型变体和模型族泛化。
来源：arXiv cs.CL · arxiv.org