跳到正文
原文
AGI Hunt· burkov·· 4 小时前AI 评分35

Agentic Search 只奖励最终答案,推理步骤是否忠实成疑

AI 导读

burkov 介绍的研究定义并度量 agentic search 中的忠实性,将其拆分为三个可区分的维度。LLM 越来越多通过强化学习把搜索引擎当工具,规划查询并推理检索到的证据,在 QA 基准上表现良好,但奖励通常只看最终答案是否正确。因此中间推理步骤是否忠实于所收集证据、还是事后编出的辩护,成为待解问题。

来源:AGI Hunt · agihunt.info