arXiv cs.CL· Steven Y. Feng, Michael C. Frank·· 2 小时前AI 评分40
儿童规模语言模型中的特化、多样性与扩展
Specialization, Diversity, and Scaling in Child-Scale Language Models
AI 导读
小型 GPT-2 模型在儿童语言数据上出现明显环境特化：用某个儿童的语言环境训练，模型预测该环境显著优于其他儿童环境。一个简单 5-gram 模型即可复现这种跨儿童模式（r=.91）。多个儿童的数据训练能更好预测汇总留出语言，但语法基准无明显同等改善；自然家庭录音 BabyView 与合成对话 TinyDialogues 呈现不同的语法和词汇语义模式。
来源：arXiv cs.CL · arxiv.org