温度设为0仍有45题答案变动，评测者改跑3次取中位数

2026年10月25日，Maziyar Panahi 公开了自己的一套评测跑法：把 temperature 设为 0、开启 reasoning，并要求模型每个回答以“Answer: X”结尾以便解析。但在这套设置下，1273 道题两次运行之间仍有 45 道题的答案发生了变化，说明即使把温度设为零，结果也并未完全可复现。为此，他改为每题跑 3 次、取中位数作为结果，分数在 94.1% 到 95.0% 之间浮动。该评测的推理服务由 Baseten 提供，单题平均耗时 2.8 秒。报道未提及所用模型的具体名称，也未说明这 45 道变动题目是否集中在特定题型上。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。