Eval 分数不等于 Agent 业务价值

2026 年 10 月，有开发者提出，Eval 分数并不等于业务价值，仅凭模型评测难以证明 Agent 的投资回报率。其观察是：单独看 Agent 的准确率或成本指标，都在持续改善，但端到端业务流程的表现却几乎没变化。该开发者以工单处理场景举例：triage agent 的准确率为 75%，剩余错误再由 correction agent 修复；而在实际业务中真正重要的指标，是「零人工介入即完成」的工单比例，这一比例可能达到 95%。由此，衡量 Agent 的价值需要落到端到端业务结果，而不是单个环节的模型分数。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。