EMNLP论文：调整评分方案即可打乱模型排行榜

2026年10月26日，AGI Hunt 报道了马里兰大学 Nishant Balepur 等人发表于 EMNLP 的论文《Check The Scoreboard》。该论文分析多选题评分方案对模型评测结果的影响，结论是：仅调整多选题的评分方案，就足以打乱模型排行榜的名次。报道据此提示，模型在多项选择类基准上的排名可能并不稳固，评分细节的变动会改变排序结果。报道未披露论文具体考察了哪些评分方案、涉及多少模型，也未给出排行榜名次变动的幅度。目前事件进展为论文结论经媒体转述后引发关注，围绕榜单可靠性与评测方法设计的讨论仍在初期。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。