AGI Hunt· SnooDingos9560·· 3 小时前AI 评分33
Agent 评测难题:输出每次都不同,怎么判断改动是变好了?
输出每次都不同,怎么判断 agent 改动是变好了?
AI 导读
Reddit 用户 SnooDingos9560 提出 agent 评测的核心困境:换 prompt 或换模型后结果「感觉不同」,但输出非确定性、无法 diff。现有做法各有短板——固定任务集手工重跑会过时,LLM 当裁判自带偏见,按 checklist 打分则覆盖有限。他征询大家的实际做法,以及是否真的靠这些方法抓到过回归,评论区含一线经验。
来源:AGI Hunt · agihunt.info