跳到正文
原文
AGI Hunt· TejasKumar_·· 2 小时前精选AI 评分65

问答机器人用 LLM 给检索段落打分,低于 0.15 阈值就承认不知道而非编造

用 LLM 给检索段落打分:低于 0.15 就承认不知道而非编造

AI 导读

作者在其个人问答机器人中用一次 LLM 调用给检索出的前 10 段逐一打分,判断段落是否回答了问题,并据此设定 0.15 阈值。两个攻击性问题得分 0.06 和 0.07,60 个本应被回答的问题最低分为 0.13;低于阈值时机器人明确说「我没覆盖过这个话题」,而不是编造答案。该方法与上一条攻击拦截方案配套,构成同一套低成本问答机器人的防幻觉与防注入工作流。

推荐理由

可迁移的阈值设定方法,用一个 LLM 调用判断检索段落能否回答问题,低于 0.15 就让机器人承认未覆盖。

来源:AGI Hunt · agihunt.info