跳到正文
原文
AGI Hunt· rohanpaul_ai·· 3 小时前AI 评分40

Adobe 论文:用可执行代码替代固定答案,agent 评测准确率提升 29%

Adobe 论文:用可执行代码替代固定答案,agent 评测准确率提升 29%

AI 导读

Adobe 研究团队提出用可执行代码替代固定答案的 agent 评测方法:把"正确答案"写成一段代码,评测时实时拉取最新结果,再由 AI 评分器据此判分。在 53 个测试用例上,以代码为参照相比文字答案,AI 评分器与人类专家判断一致性提高 29%,token 消耗减少 16%。完全没有参照答案时,AI 评分器表现甚至不如随机。

来源:AGI Hunt · agihunt.info