基准饱和后如何评估模型能力：解题 transcript 仍保留能力信号

研究显示，基准分数饱和后，模型解题 transcript 仍保留超出基准准确率的能力信息，其中 pairwise judging 相比仅用饱和分数的基线将预测误差降低 5.3 倍。这类信息分布在 transcript 各部分，但集中在推理与工具调用等通道。不过其预测能力不总能泛化到分布变化，例如会低估 2025 年初首批 reasoning 模型的能力。