跳到正文
原文
AGI Hunt· wandb·· 11 小时前AI 评分40

W&B 演示:把 agent 生产事故转化为 eval 用例再验证修复

W&B 演示:把 agent 生产事故转化为评测用例再验证修复

AI 导读

W&B 的 Zubin Aysola 在 AI Engineer World's Fair 演讲中演示了一套 agent 质量改进流程:线上 agent 犯错时,可把 ARIA 生产 trace 直接转化为一条 eval 用例,再用它对修复效果做基准验证,让每次事故沉淀为回归测试资产。演讲录像已公开。

来源:AGI Hunt · agihunt.info