跳到正文
原文
arXiv cs.AI· Siddharth Jain, Venkat N. Vedam·· 2 小时前AI 评分46

监控准确率不是答案:评估 AI 智能体重启监控器的决策价值框架

Monitor Accuracy Isn't the Answer: A Decision-Value Framework for Evaluating AI Agent Restart Monitors

AI 导读

研究提出用决策价值而非准确率评估 AI 智能体重启监控器:固定 90% 准确率的监控器可使成功率在 -5 到 +35 个百分点之间摆动,取决于替换尝试的剩余预算成功概率。作者给出决策充分性判据与免额外模型调用的有限样本决策审计。在 SWE-bench Verified 的 19 个 SymPy 问题、194 次模型执行中,103 次实时比较无一达到认证门槛。

来源:arXiv cs.AI · arxiv.org