跳到正文
原文
AGI Hunt· Juan S. Santillana·· 5 小时前AI 评分59

关键词匹配式基准误判小模型工具调用,约 3.3 GPU 时定向 SFT 可修复

小模型「工具调用」可能是假的:关键词基准误判,约 3.3 GPU 时即可修复

AI 导读

作者在一对同架构西班牙语安全模型中发现,关键词匹配式基准会把小模型实际不会做的工具调用记为有效的假阳性。训练样本逐字复现检查完全区分了两者,600M 模型在 6/6 样本上泛化发出有效工具调用,1B 为 0/6,首 token 探针把 1B 的失败定位到 <|toolcall|> 先验缺失(概率 10⁻⁴–10⁻⁵)。

来源:AGI Hunt · agihunt.info