OLMo-2训练集被曝含24%MMLU原题

2026年10月13日，Gaperon 模型团队成员 zehavoc 与 antoinechaffin 指出，OLMo-2 训练集中混入了基准数据，其中包含 24% 的 MMLU 原题，这些意外混入的基准数据正在扭曲评测流程。团队还观察到，部分被污染的数据似乎反而带来了领域外的泛化收益，这使得评测结果更加难以解读。基于此，团队主张领域内的提升应在结果中明确标注，以保证评测的可信度。截至报道时，除该团队披露的上述观察与主张外，尚无更多进展信息。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。