开发者晒 Agent 评测工具，讨论典型失败模式

2026年10月1日，据 AGI Hunt 报道，开发者 mbtigeekjung 在 reddit 晒出自己构建的 agent 测试工具：让 agent 跑完整对话，并自动标记若干典型失败模式，包括重复询问已有答案的问题、声称执行了动作却没有真正调用工具、以及把本可转化的客户弄丢。帖子同时向社区抛出三个问题：该测完整对话还是单条回复；如何抓出 agent「说做了」却未实际调用工具的情况；训练或评测时该用真实对话记录还是模拟用户。目前讨论集中在评测粒度选择与工具调用验证这两点上，尚未见到对上述问题的统一结论，也没有公开的评测基准或数据结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。