arXiv cs.CL· Manan Uppadhyay, Himanshu Beniwal, Prashant Kodali, Sunayana Sitaram·· 2 小时前AI 评分46
多语言评测基准的现状与命运：对 51 个基准、219 种语言的审计
The State and Fate of Multilingual, Contextual Evaluation in the NLP World
AI 导读
一项审计发现，51 个多语言基准（242 个数据集、219 种语言）覆盖广而薄：36% 的受评语言仅出现在一个基准中，低资源语言仅被 1-3 个任务类别评测，高资源语言则为 14 个。56% 的数据集-语言实例由英语翻译而来，叠加翻译基准泄漏与平行语料重叠造成的污染，这一生态被迫在广度与效度之间取舍。
来源：arXiv cs.CL · arxiv.org