热点事件持续更新
研究提出以决策价值评估智能体重启监控器
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026 年 10 月 28 日,arXiv cs.AI 刊出一项研究,主张评估 AI 智能体的“重启监控器”不应只看准确率,而应看其决策价值。作者指出,一个固定 90% 准确率的监控器,能让任务成功率在 -5 到 +35 个百分点之间摆动,具体取决于替换尝试在剩余预算下的成功概率——即同样的准确率在不同预算情形下可能有害也可能有益。为此,作者给出决策充分性判据,并提出一种无需额外模型调用的有限样本决策审计方法。实证部分在 SWE-bench Verified 的 19 个 SymPy 问题、194 次模型执行上开展,共进行 103 次实时比较,结果无一达到作者设定的认证门槛。目前该工作处于预印本阶段,尚无后续独立复现或同行评审结论的报道。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
新论文提出以决策价值而非准确率评估重启监控器,并报告 103 次实时比较无一达认证门槛。报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- arXiv cs.AI监控准确率不是答案:评估 AI 智能体重启监控器的决策价值框架
研究提出用决策价值而非准确率评估 AI 智能体重启监控器:固定 90% 准确率的监控器可使成功率在 -5 到 +35 个百分点之间摆动,取决于替换尝试的剩余预算成功概率。作者给出决策充分性判据与免额外模型调用的有限样本决策审计。在 SWE-bench Verified 的 19 个 SymPy 问题、194 次模型执行中,103 次实时比较无一达到认证门槛。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。