基准饱和后如何评估模型能力

2026年10月16日，一篇 arXiv cs.AI 论文探讨基准分数饱和后如何继续评估模型能力。研究显示，基准准确率饱和之后，模型的解题 transcript 中仍保留超出基准准确率的能力信息：采用 pairwise judging 的做法，相比仅使用饱和分数的基线，将预测误差降低了 5.3 倍。研究指出，这类能力信息分布在 transcript 的各个部分，但主要集中在推理与工具调用等通道。研究同时提示局限：该预测能力并不总能泛化到分布变化的情形，例如会低估 2025 年初首批 reasoning 模型的能力。报道未给出更多实验细节。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。