arXiv cs.CL· Hanyu Liao, Yijing Chen, Tao Ji·· 4 小时前AI 评分37
当最弱语言不断变化:面向多语言 BabyLM 的 ARMOR-DP
When the Weakest Language Keeps Moving: ARMOR-DP for Multilingual BabyLM
AI 导读
ARMOR-DP 框架用各语言验证损失动态更新采样,以跟踪多语言 BabyLM 训练中最弱语言的变化。受控实验中,等字符预算造成严重中文表示伪影,字节级编码可消除大部分;静态中文保护可能让英语变成最弱语言。官方评测显示,课程动态检查点以更少中文 epoch 超过匹配的静态中文保护基线,扩大容量则得到内部最强 ARMOR-DP 系统。
来源:arXiv cs.CL · arxiv.org