agent eval 反例：答案全出自政策文档却答错退货规则

2026年10月7日，AGI Hunt 报道，一位从事 agent eval（智能体评测）的开发者给出一个反例：某客服机器人的回答中，每个数字和短语都能在退货政策文档里找到出处，可谓逐字取材，但依然答错——它把“未拆封商品30天全额退款至原支付方式”的规则套用到了已拆封商品上，向用户承诺了本不该有的现金退款。报道呈现的核心问题是：答案可溯源并不等于答案正确，出错环节在于规则适用条件被错配，而非凭空编造。截至目前，该反例由开发者一方公开，报道未披露涉事系统的厂商或模型名称，也未说明该案例是否被纳入某个评测集或基准，后续进展仍待观察。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。