arXiv cs.CL· Pragna Mallappa·· 2 小时前AI 评分44
Token 置信度只是链长吗?对推理语言模型思维链打分的信号处理审计
Is Token Confidence Just Chain Length? A Signal-Processing Audit of Reasoning Traces
AI 导读
信号处理审计发现,用 2048 token 滑动窗口的最低平均置信度给推理链打分,实际测到的主要是链长:单按长度排序效果不差于甚至优于该分数,控制链长后分数对正确性不再有信息量。实验用小型开源推理模型在 500 道数学题上各采样 16 条链。错误链虽有更快的 token 间波动,但该信号太弱无法提升多数投票,提前截断链也不如直接少采样。
来源:arXiv cs.CL · arxiv.org