跳到正文
原文
AGI Hunt· arnabdotorg·· 2 小时前AI 评分33

Andrew Perrault 谈评测环境构建:只发布与人类多数判断一致的评分器

只发布与人类多数一致的评分器,Andrew Perrault 谈评测环境构建

AI 导读

Andrew Perrault 介绍了其团队为评测任务构建程序化评分器的做法:只有评分器与测试中的人类多数判断高度一致时,才对外发布对应的环境与评分器。由于人类在这些任务上本身存在明显分歧,团队以此作为发布门槛,以保证评测结果的可靠性。

来源:AGI Hunt · agihunt.info