跳到正文

#评测/基准

今日 0 条
9月29日周二
9月23日周三
9月22日周二
9月16日周三
9月3日周四
8月12日周三
7月1日周三
4月16日周四
4月1日周三
  1. Google Research45

    Google Research:构建更好的 AI 基准,多少名标注者才够?

    Google Research 的“Forest vs Tree”研究指出,AI 评测常用的每项 1–5 名标注者标准不足,往往需要超过 10 名标注者。基于 Toxicity 等数据集的模拟显示,最优配比取决于指标:多数投票准确率偏向增加条目,捕捉意见分布则需增加标注者;约 1,000 条总标注即可实现高可复现性,模拟器已在 GitHub 开源。