Tampered ML：评估 LLM 对机器学习研究的判断能力

Tampered ML 基准包含 1,858 个条目对，评估 LLM 能否判断机器学习研究提案的方法合理性。每个条目对由已发表论文重建的实验提案与引入针对性缺陷的最小编辑反事实组成。人类验证估计 86% 条目有效；前沿模型高于随机，但 Opus 5 仅 77.9% 准确率，且易受呈现顺序影响、偏好更具体或常规的缺陷设计。