多语言P(True)自评估受问题、回答、验证器三种语言影响

2026年10月26日，arXiv cs.CL 刊出一项关于多语言 P(True) 自我评估的研究，把“问题语言”“回答语言”“验证器语言”三者解耦考察。作者做了六语言因子实验，覆盖 10 个 3B–14B 开源权重模型，数据集为 LSQA、MMMLU、TriviaQA，发现这三种语言各自影响不同的评估环节：仅改变验证器语言，就能让校准误差最多变动 0.04，而准确率保持不变。研究还指出，若判分模型未经验证，会把 MMMLU 上英语与印地语的准确率差距从 0.198 缩小到 0.038，即掩盖了真实的多语言性能差异。据此作者主张，多语言评估结果必须同时报告这三种语言，并对判分器加以验证，结果才具可比性。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。