arXiv cs.CL· Haozheng Liu, Zhaoqian Xue, Zhongyin Wang, Junting Mu, Zihui Ma, Shuya Feng, Lingyao Li·· 2 小时前AI 评分46
决策模型作为幻觉检测评判器：与 gpt-6-sol 的基准对比
Decision Models as Judges for Hallucination Detection
AI 导读
覆盖五类幻觉、9,852 条样本的二元基准显示，最优决策模型在上下文不一致上的平衡准确率与生成式评判器 gpt-6-sol 持平，事实错误仅差 3 个百分点。但它在逻辑不一致和指令不一致上落后 4-8 个百分点，且输出概率普遍过度自信。决策模型的置信度级联在三类幻觉上比单一最佳模型提升 1.9-3.3 个百分点，并以 gpt-6-sol 1-3% 的成本达到或超过其表现。
来源：arXiv cs.CL · arxiv.org