arXiv cs.CL· Zhenhe Wu, Jian Yang, Yaping Jin, Xinlai Kang, Jie Hu, Hanting Chen·· 4 小时前AI 评分34
PA1-OPD：面向语言模型预训练的一步前缀增强同策略蒸馏
PA1-OPD: One-Step Prefix-Augmented On-Policy Distillation for Language Model Pretraining
AI 导读
PA1-OPD 提出一步前缀增强的同策略蒸馏，在语料路径 KD 之外，对每个选定前缀加入一次学生采样后的教师反馈以扩大监督状态。在两个持续预训练设置中，全覆盖在 C4、PG-19、Pile 的每个 checkpoint 上均改善 held-out 交叉熵。
来源：arXiv cs.CL · arxiv.org