跳到正文

#安全/对齐

今日 31 条
7月20日周一
6月22日周一
6月15日周一
5月16日周六
4月1日周三
  1. Google Research45

    Google Research:构建更好的 AI 基准,多少名标注者才够?

    Google Research 的“Forest vs Tree”研究指出,AI 评测常用的每项 1–5 名标注者标准不足,往往需要超过 10 名标注者。基于 Toxicity 等数据集的模拟显示,最优配比取决于指标:多数投票准确率偏向增加条目,捕捉意见分布则需增加标注者;约 1,000 条总标注即可实现高可复现性,模拟器已在 GitHub 开源。