跳到正文

#评测/基准

今日 26 条
6月15日周一
4月16日周四
4月1日周三
  1. Google Research45

    Google Research:构建更好的 AI 基准,多少名标注者才够?

    Google Research 的“Forest vs Tree”研究指出,AI 评测常用的每项 1–5 名标注者标准不足,往往需要超过 10 名标注者。基于 Toxicity 等数据集的模拟显示,最优配比取决于指标:多数投票准确率偏向增加条目,捕捉意见分布则需增加标注者;约 1,000 条总标注即可实现高可复现性,模拟器已在 GitHub 开源。