arXiv cs.CL· Michael Christlambert Sinanta (Independent Researcher), Muhammad Dehan Al Kautsar (Mohamed bin Zayed University of Artificial Intelligence), Amanda Nurul Izzah (Independent Researcher), Thanh-Nhi Nguyen (Independent Researcher), Phan Phuong Mai Chau (Mohamed bin Zayed University of Artificial Intelligence), Zheng Wei Lim (University of Amsterdam), Fajri Koto (Mohamed bin Zayed University of Artificial Intelligence)·· 2 小时前AI 评分32
LLM 利用人工整理词表进行低资源语言文本生成
Text Generation in Low-Resource Languages Using Human-Curated Vocabularies
AI 导读
结合人工整理词表与少量人工示例、并按 Zipfian 分布采样候选词的框架，能让推理型 LLM 在极低资源甚至未见语言中生成流畅文本。研究在资源水平不同的语言上以词汇多样性、偏离目标比例和人工流畅度评分评估，句级结果尤其强，段落级表现也有潜力。源代码已公开。
来源：arXiv cs.CL · arxiv.org