跳到正文
原文
AGI Hunt· SAP·· 4 小时前AI 评分42

SAP 提出结局导向置信校准:让 Agent 预知任务失败,AUROC 达 0.85

让 Agent 学会预知失败:结局导向置信校准 AUROC 达 0.85

AI 导读

SAP 研究者提出「结局导向」的置信度校准方法,让 LLM agent 每一步预测整个多步任务最终能否成功,而非只校准当前单步决策。在 GRPO 框架下用 Qwen2.5-7B agent 离线 RL 训练后,逐步置信度对 episode 结局的 AUROC 从接近随机升至 0.68-0.85,置信度 top-10% 步骤的成功率约为平均的 4.3 倍。

来源:AGI Hunt · agihunt.info