arXiv cs.AI· Tanush Kalhan, Anupam Chattopadhyay, Sriram Ranga, Amritendu Mukherjee·· 9 小时前AI 评分38
思维密度：预测与引导大语言模型的推理
The Density of Thought: Predicting and Steering Reasoning in Large Language Models
AI 导读
在 60 道 GSM8K 题、六种模型规模与两种训练范式上的实验显示，CoT 各推理步骤的信息密度与答案正确性相关，并可在推理时被引导以提升准确率。生成前结合提示注入与对比式 KV-cache 引导可提升准确率 13.3 个百分点；自监督方法 EGDR 用 token 级 Shannon 熵门控 KV cache 调整，无需外部引导即提升 10.0 个百分点。
来源：arXiv cs.AI · arxiv.org