跳到正文
热点事件持续更新

审计51个多语言NLP评测基准:覆盖广而薄

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月28日,arXiv cs.CL 刊出一项针对多语言NLP评测基准的审计。该研究覆盖51个基准、242个数据集、219种语言,发现这一生态覆盖虽广却薄:36%的受评语言只出现在一个基准中,低资源语言仅由1至3个任务类别评测,高资源语言则达14个。审计还指出,56%的数据集-语言实例由英语翻译而来,翻译基准泄漏与平行语料重叠造成污染,使该生态不得不在广度与效度之间取舍。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv cs.CL
    多语言评测基准的现状与命运:对 51 个基准、219 种语言的审计

    一项审计发现,51 个多语言基准(242 个数据集、219 种语言)覆盖广而薄:36% 的受评语言仅出现在一个基准中,低资源语言仅被 1-3 个任务类别评测,高资源语言则为 14 个。56% 的数据集-语言实例由英语翻译而来,叠加翻译基准泄漏与平行语料重叠造成的污染,这一生态被迫在广度与效度之间取舍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。