AGI Hunt· burkov·· 4 小时前AI 评分35
Agentic Search 只奖励最终答案,推理步骤是否忠实成疑
AI 导读
burkov 介绍的研究定义并度量 agentic search 中的忠实性,将其拆分为三个可区分的维度。LLM 越来越多通过强化学习把搜索引擎当工具,规划查询并推理检索到的证据,在 QA 基准上表现良好,但奖励通常只看最终答案是否正确。因此中间推理步骤是否忠实于所收集证据、还是事后编出的辩护,成为待解问题。
来源:AGI Hunt · agihunt.info