跳到正文
原文
AGI Hunt· sanmikoyejo·· 2 小时前精选AI 评分69

斯坦福研究:仅需 2 次提交即可刷出排行榜虚假冠军

斯坦福研究:仅需 2 次提交即可"刷"出排行榜虚假冠军

AI 导读

斯坦福团队(Allouah、Duchi、Koyejo)发布研究,指出 HELM、LiveBench、Open LLM、SWE-bench、Terminal-Bench-Science 等榜单提供的分维度分数会在每次提交中泄露测试集信息,攻击者少至 2 次提交就能造出一个在未见数据上实际落后的榜单冠军。

推荐理由

研究给出了基准反馈泄露测试集的具体攻击路径,并量化多准则评测所需的数据规模,可作为榜单维护者的自查参考。

来源:AGI Hunt · agihunt.info