arXiv cs.CL· Zizhuo Zhang, Xiong Peng, Jingwei Sun, Rong Yao, Borui Jiang, Bo Han·· 4 小时前AI 评分40
重新审视 LLM 忠实性：成对上下文敏感视角与 PFaithBench 基准
Rethinking Faithfulness in LLMs: A Pairwise Context-Sensitive Perspective
AI 导读
研究者提出成对忠实性基准 PFaithBench，考察模型能否在支持性与非支持性上下文下对同一问题切换作答与拒答。对 39 个模型、7 个模型家族的评测显示，忠实性本质是作答与拒答的权衡，多数模型强烈偏向作答，多数忠实性错误源于过度作答。训练结果对作答与拒答数据构成高度敏感：来源不匹配会使模型依赖数据集捷径，增加答案监督数据加剧过度作答，增加拒答数据减少幻觉却带来过度拒答；代码与数据已公开。
来源：arXiv cs.CL · arxiv.org