arXiv cs.CL· Xiang Zhang, Lovedeep Gondara, Jekaterina Novikova·· 3 小时前AI 评分50
arXiv 论文发现 60% 错误答案处于高一致性区间，无标签评估存在盲点
When Judges Agree and Are Wrong: Consistency-Accuracy Dissociation as a Blind Spot for Label-Free Evaluation
AI 导读
一篇 arXiv 论文用四个金融问答数据集（含选择题与自由作答）、十个一致性维度和两个前沿模型系列，在单样本层面测量了一致性与准确率的联合分布。结果发现 60% 的错误答案落在高一致性区间（consistency ≥ 0.8），其中 77.7% 在所有扰动变体上给出完全相同的错误答案。
来源：arXiv cs.CL · arxiv.org