热点事件持续更新
关键词匹配基准误判小模型工具调用
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
作者在一对同架构西班牙语安全模型中发现，关键词匹配式基准存在假阳性：会把模型实际并不会做的工具调用记为有效。对训练样本做逐字复现检查，可以完全区分真伪两种情况。据报道，约 3.3 GPU 时的定向 SFT 即可修复该问题：修复后 600M 模型在 6/6 样本上泛化发出有效工具调用，而 1B 模型为 0/6。后续的首 token 探针把 1B 的失败定位到 <|toolcall|> 先验缺失，其概率仅 10⁻⁴–10⁻⁵。
AI 根据报道生成 · 3 小时前更新
最新进展10月3日 01:17
首 token 探针将 1B 模型失败定位到 <|toolcall|> 先验缺失（10⁻⁴–10⁻⁵）。报道时间线
沿着报道，了解事件的不同侧面。
10月3日
- AGI Hunt关键词匹配式基准误判小模型工具调用，约 3.3 GPU 时定向 SFT 可修复
作者在一对同架构西班牙语安全模型中发现，关键词匹配式基准会把小模型实际不会做的工具调用记为有效的假阳性。训练样本逐字复现检查完全区分了两者，600M 模型在 6/6 样本上泛化发出有效工具调用，1B 为 0/6，首 token 探针把 1B 的失败定位到 <|toolcall|> 先验缺失（概率 10⁻⁴–10⁻⁵）。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。