预训练 800 个模型揭示：AI 生成文本混入语料会反噬训练效果

一项研究预训练 800 个语言模型，发现把 AI 生成文本混入语料后收益会很快饱和并反转为损害。用 Pangram 检测，2026 年 6 月经 FineWeb 质量过滤后的网络数据中 27.5% 的 token 被判为 AI 生成，8 月升至 31.1%。