arXiv cs.CL· Yusheng Zhou, Eleanor Lin, David Jurgens·· 4 小时前AI 评分46
迷失在翻译中：测量非母语英语对大语言模型终端用户表现的影响
Lost in Translation: Measuring the Effect of Non-Native English on End User Performance of Large Language Models
AI 导读
FABLE 数据集用 174K 条真实用户提示词生成 190,911 条英文提示词变体，测量非母语英语对大语言模型用户表现的影响。在 34 个开放权重 LLM 上的评测显示，模型不会把拼写错误带入输出，却会复制提示词中更高层的修辞与词汇特征。最流畅与最不流畅提示词的答案质量差异显著，非母语英语用户得到质量更低、流畅度更差的回答。
来源：arXiv cs.CL · arxiv.org