Google Research：构建更好的 AI 基准，多少名标注者才够？

Google Research 的“Forest vs Tree”研究指出，AI 评测常用的每项 1–5 名标注者标准不足，往往需要超过 10 名标注者。基于 Toxicity 等数据集的模拟显示，最优配比取决于指标：多数投票准确率偏向增加条目，捕捉意见分布则需增加标注者；约 1,000 条总标注即可实现高可复现性，模拟器已在 GitHub 开源。