TAU-banking 基准被指约 65% 任务存在评分漏洞

danielrupawalla 指出 TAU-banking 基准中约 65% 的任务存在缺陷，模型可以执行规则外的操作而不受惩罚。他列出的问题包括只检查工具调用而不查数据库、缺少沟通质量检查以致模型可以对客户撒谎，以及工具调用校验过于简单、调用失败也没有后果。他建议正在做基准的团队先加固这些评分缺陷再使用。