研究者介绍评测程序化评分器构建与发布门槛

2026年10月15日，据 AGI Hunt 报道，Andrew Perrault 介绍了其团队为评测任务构建程序化评分器的做法。团队设定了明确的发布门槛：只有当评分器与测试中的人类多数判断高度一致时，才会对外发布对应的评测环境与评分器。Perrault 指出，人类在这些任务上本身就存在明显分歧，因此团队把与人类多数判断的一致程度作为筛选与发布标准，以保证评测结果的可靠性。报道未提及具体发布了哪些环境与评分器，也未给出一致性判定的具体阈值，披露内容集中在方法论层面。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。