AGI Hunt· burkov·· 3 小时前AI 评分43
Schema 检索只看召回率是坑:作者提出按每 token 有效覆盖与成本评估
Schema 检索只看召回率是坑:作者提出按每 token 有效覆盖与成本评估
AI 导读
有作者指出,AI agent 在多轮推理与数据库查询循环中,schema 检索系统普遍只用召回率评判,会让「把整个目录塞给模型」成为理论最优解,实际却 token 消耗大、延迟高且低效。文章提出三个互补评估维度:每 token 的有效 schema 覆盖率、多步任务全程的总 token 消耗、每步推理的估算成本。结论是用错评估指标会让企业选到更贵、实际效果更差的方案。
来源:AGI Hunt · agihunt.info