arXiv cs.CL· Dries Rooryck, Alex Cai, Yonatan Belinkov, David Alvarez-Melis, Kiant\'e Brantley·· 2 天前AI 评分38
喂 BabyLMs 吃 Macaroni:语码切换课程带来跨语言收敛
Feeding BabyLMs Macaroni: Code-Switching Curricula Cause Cross-Lingual Convergence
AI 导读
用 LLM 向英语、荷兰语、中文 BabyBabelLM 语料注入词级与句级语码切换后再预训练小型 decoder-only Transformer,可让平行文本表征(尤其跨书写系统)趋于对齐。按词级语码切换→句级语码切换→单语文档的课程训练,模型在 BabyLM 评测套件上优于未使用该数据的基线。代码、数据与模型已公开。
来源:arXiv cs.CL · arxiv.org