Gaperon 团队发现 OLMo-2 训练集含 24% MMLU 原题

Gaperon 模型团队成员 zehavoc 与 antoinechaffin 指出，OLMo-2 训练集中有 24% 的 MMLU 原题，意外混入的基准数据正在扭曲评测流程。他们还观察到部分被污染的数据似乎反而带来领域外的泛化收益，这让评测结果更难解读。团队主张领域内的提升应在结果中明确标注，以保证评测的可信度。