arXiv cs.CL· Mingyu Zhao, Shuhang Lin, Ligong Han, Xiaojing Yu, Zhenting Wang, Yifei Pang, Yang Zhou, Dimitris N. Metaxas·· 2 小时前AI 评分35
元认知解码：面向扩散语言模型智能体的高效推理
Metacognitive Decoding: Efficient Inference for Diffusion Language Agents
AI 导读
Metacognitive Decoding 用一个轻量元认知控制器引导扩散语言模型的生成，学习何时定稿 token、生成应延伸多远，以减少单次响应内的整体计算。该控制器作为扩散主干网络的插件，在智能体轨迹上训练以平衡正确性与生成成本。在五个 benchmark 上，相比最高效基线平均减少 20.6% 推理 FLOPs，同时保持有竞争力的任务准确率。
来源：arXiv cs.CL · arxiv.org