arXiv cs.CL· Hyunjong Ok, Minjae Park, Jaeho Lee·· 3 小时前AI 评分41
一个偏差分数，两个因子：缓解方法如何影响多选题评测中的选项偏差
One Bias Score, Two Factors: How Mitigations Affect Option Bias in Multiple-Choice Evaluation
AI 导读
论文用合并选择率标准差（pooled SD）统一多选题评测的选择偏差与顺序敏感性，该值等于翻转率与位置偏斜之积。在 41 个 checkpoint、12 个 benchmark 上，翻转率跟随准确率与不确定性，位置偏斜跟随选项符号先验。先验校正主要压低位置偏斜，反转聚合主要压低翻转率，二者收窄正确选项字母间准确率差距的幅度相近。
来源：arXiv cs.CL · arxiv.org