研究者主张 LLM 评测应高度专门化

2026年10月1日，AGI Hunt 报道，研究者 rmcwhorter99 提出，用于评测 LLM 的测试本身也会成为训练数据，因此评测项目应当「高度专门化」。其核心论据是：如果把测试设计得非常具体，就可以把模型在某一特定能力上的提升归因到具体的训练材料，从而更准确地衡量训练效果。也就是说，评测的专门化被视作提升训练效果归因精度的手段，而非单纯追求覆盖率。报道中该主张由研究者个人提出，未提及是否已有机构采纳、也未给出具体的评测设计样例或后续验证计划。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。