AGI Hunt· arnabdotorg·· 2 小时前AI 评分33
Andrew Perrault 谈评测环境构建:只发布与人类多数判断一致的评分器
只发布与人类多数一致的评分器,Andrew Perrault 谈评测环境构建
AI 导读
Andrew Perrault 介绍了其团队为评测任务构建程序化评分器的做法:只有评分器与测试中的人类多数判断高度一致时,才对外发布对应的环境与评分器。由于人类在这些任务上本身存在明显分歧,团队以此作为发布门槛,以保证评测结果的可靠性。
来源:AGI Hunt · agihunt.info