多选评测选项偏差缓解效果分析

2026年10月16日，arXiv cs.CL 发表一篇论文，提出用合并选择率标准差（pooled SD）统一衡量多选题评测中的选择偏差与顺序敏感性，并指出该值等于翻转率与位置偏斜之积。研究覆盖 41 个 checkpoint、12 个 benchmark。结果显示，翻转率跟随准确率与不确定性变化，位置偏斜跟随选项符号先验变化。在缓解方法上，先验校正主要压低位置偏斜，反转聚合主要压低翻转率；两者在收窄正确选项字母间准确率差距方面的幅度相近。目前进展为论文给出上述分解与比较，未提及后续应用或复现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。