热点事件持续更新
无标签评估中一致性-准确率脱钩
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月16日，arXiv cs.CL 出现一篇论文，研究无标签评估中一致性指标与准确率之间的脱钩现象。该研究使用四个金融问答数据集（包含选择题与自由作答两种形式）、十个一致性维度和两个前沿模型系列，在单样本层面测量一致性与准确率的联合分布。结果显示，60% 的错误答案落在高一致性区间（consistency ≥ 0.8）；其中 77.7% 在所有扰动变体上给出完全相同的错误答案。论文据此指出，无标签评估存在盲点。目前该研究为预印本，尚无其他来源的报道或后续进展。
AI 根据报道生成 · 58 分钟前更新
最新进展10月16日 12:00
arXiv 新论文称 60% 错误答案一致性≥0.8，无标签评估存在盲点。报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- arXiv cs.CLarXiv 论文发现 60% 错误答案处于高一致性区间，无标签评估存在盲点
一篇 arXiv 论文用四个金融问答数据集（含选择题与自由作答）、十个一致性维度和两个前沿模型系列，在单样本层面测量了一致性与准确率的联合分布。结果发现 60% 的错误答案落在高一致性区间（consistency ≥ 0.8），其中 77.7% 在所有扰动变体上给出完全相同的错误答案。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。