arXiv cs.CL· Ancil Crayton·· 3 小时前AI 评分36
为何要校验对比本身而非只校验评分器：交互式 LLM 评测中整体准确率的误导性
Validating the Comparison, Not Just the Scorer: Why Overall Accuracy Can Mislead in Interactive LLM Evaluation
AI 导读
研究指出，交互式 LLM 评测中只用整体 F1 校验自动评分器会掩盖提示词特定误差，使提示词对比偏大、偏小甚至方向反转。288 条均衡审计样本的整体 F1 为 .916，但评分器在不同提示词下把 2.6%–33.3% 的回复误判为含无依据断言。第二组 300 个案例中，9.3 个百分点的提升在两名 LLM 评分者下均降至 2.3 个百分点。
来源：arXiv cs.CL · arxiv.org