arXiv cs.AI· Pratyay Dutta, Kowshik Thopalli, Vivek Narayanaswamy·· 4 小时前AI 评分46
COMPASS：定位语言模型中的推理所在
COMPASS: Finding Where Reasoning Lives in Language Models
AI 导读
COMPASS 是一种推理时引导方法，用模型直接作答的正确性信号构造潜方向，并借 logit 空间归因分数定位可干预的注意力头、引导其激活。在三个模型家族和多个数学基准上，它平均将 GSM8K 准确率提升 16 个百分点，以少 20-70% 的生成 token 接近 CoT 准确率，且干预无需重新拟合即可迁移到未见基准。
来源：arXiv cs.AI · arxiv.org