AGI Hunt· rohanpaul_ai·· 3 小时前AI 评分40
Adobe 论文:用可执行代码替代固定答案,agent 评测准确率提升 29%
Adobe 论文:用可执行代码替代固定答案,agent 评测准确率提升 29%
AI 导读
Adobe 研究团队提出用可执行代码替代固定答案的 agent 评测方法:把"正确答案"写成一段代码,评测时实时拉取最新结果,再由 AI 评分器据此判分。在 53 个测试用例上,以代码为参照相比文字答案,AI 评分器与人类专家判断一致性提高 29%,token 消耗减少 16%。完全没有参照答案时,AI 评分器表现甚至不如随机。
来源:AGI Hunt · agihunt.info