arXiv cs.CL· Khan Mahi Al Atahar, Nazifa Tasneem, Ajwad Abrar·· 4 小时前AI 评分34
8 个 LLM 多语言抽象摘要评测：英语与孟加拉语零样本综合研究
Evaluating Large Language Models for Multilingual Abstractive Summarization: A Comprehensive Study of English and Bengali
AI 导读
8 个闭源与开放权重 LLM 在英语与孟加拉语 XL-Sum 测试集上完成零样本评测，结合词汇、语义指标、无参考事实性验证与 LLM-as-a-Judge 评估。GPT-5.6 Luna 领先多项英语词汇指标，但孟加拉语上 LLaMA 3.3 70B 的 ROUGE 与 BLEU 最高，Gemini 2.5 Flash 事实性得分最高。不同评测方法给出不同排名，英语优势未必迁移到孟加拉语。
来源：arXiv cs.CL · arxiv.org