arXiv cs.CL· Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Hwiyeong Lee, Taesup Kim·· 3 小时前AI 评分42
多语言 P(True) 自我评估中问题、回答与验证器语言的解耦
Disentangling Question, Response, and Verifier Languages in Multilingual P(True) Self-Evaluation
AI 导读
六语言因子实验用 10 个 3B-14B 开源权重模型在 LSQA、MMMLU、TriviaQA 上解耦问题、回答与验证器语言，三者影响的评估环节各不相同。仅改变验证器语言就能让校准误差最多变动 0.04、准确率却不变。未经验证的判分模型会把 MMMLU 英印准确率差距从 0.198 缩到 0.038，多语言结果须报告三种语言并验证判分器才可比较。
来源：arXiv cs.CL · arxiv.org