arXiv cs.CL· Sangdo Han, Moonsoo Kim·· 3 小时前AI 评分50
Agreement Without Alignment：无标注评分标准澄清提升 LLM 评委共识，但不提升与人类的一致性
Agreement Without Alignment: Label-Free Rubric Clarification Increases LLM-Judge Consensus but Not Agreement with Humans
AI 导读
无标注 rubric 澄清流程把评分标准拆成子标准、按评委间分歧排序，由 editor 模型只改写争议最大的条目；在 SummEval 上，五位 LLM 评委间的 Krippendorff's α 比原 rubric 提高 0.069（95% CI 0.046–0.092），比随机改写等量条目的对照组高 0.074。
来源：arXiv cs.CL · arxiv.org