arXiv cs.AI· Shan Peng, Shuaiqi Cheng, Miao Peng, Chenyi Zi, Jia Li·· 3 小时前AI 评分47
DMAIC-Bench：多阶段分析任务中智能体从自我反思到自我约束的基准
DMAIC-Bench: From Self-Reflection to Self-Restraint for Agents in Multi-Stage Analytical Tasks
AI 导读
DMAIC-Bench 用 97 个种子任务和 15 个工业案例，评估 LLM 智能体在多阶段分析任务中的自我约束能力。来自 6 家提供商的 13 个模型在匹配 GO 决策上的执行级路由准确率平均为 92%，NO-GO 决策仅 19%。盲审 11 个被审计智能体后估计，报告在已到达 NO-GO 决策中有 47% 依据无效证据行动，区间为 31% 至 61%。
来源：arXiv cs.AI · arxiv.org