Maziyar Panahi 实测温度设为 0 时 1273 题仍有 45 题答案跨轮次变化

Maziyar Panahi 公开其评测跑法：temperature 设为 0、开启 reasoning，并要求每个回答以 Answer: X 结尾以便解析，但在 1273 道题上两次运行之间仍有 45 题答案发生变化。他因此改为跑 3 次取中位数，分数在 94.1% 到 95.0% 之间浮动。推理服务由 Baseten 提供，单题平均耗时 2.8 秒。