热点事件持续更新
TAU-banking 基准中约 65% 的任务存在评分漏洞
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026 年 10 月 28 日，AGI Hunt 报道称，danielrupawalla 指出 TAU-banking 基准中约 65% 的任务存在缺陷，模型可以执行规则外的操作而不受惩罚。他列出的具体问题包括：评分只检查工具调用，不检查数据库状态；缺少沟通质量检查，导致模型可以对客户撒谎而不被扣分；工具调用校验过于简单，即使调用失败也没有后果。他建议正在做基准的团队先加固这些评分缺陷，再使用该基准。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 05:05
danielrupawalla 指出 TAU-banking 约 65% 的任务评分存在漏洞，并建议加固后再使用报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- AGI HuntTAU-banking 基准被指约 65% 任务存在评分漏洞
danielrupawalla 指出 TAU-banking 基准中约 65% 的任务存在缺陷，模型可以执行规则外的操作而不受惩罚。他列出的问题包括只检查工具调用而不查数据库、缺少沟通质量检查以致模型可以对客户撒谎，以及工具调用校验过于简单、调用失败也没有后果。他建议正在做基准的团队先加固这些评分缺陷再使用。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。