arXiv cs.CL· Huan Li, Zhe Cao, Qinlei Xie, Fushun Cui, Xuechen Liang·· 4 小时前AI 评分35
用条件锚定蒸馏（CAGD）稳定持续学习中的语言模型
Stabilizing language models under continual learning via condition-anchored distillation
AI 导读
条件锚定生成蒸馏（CAGD）保留少量旧提示词，用冻结的上一版模型重建补全与生成状态并匹配其预测分布，以稳定持续学习中的语言模型。在 219M 掩码扩散语言模型上，四任务最终 held-out loss 从 2.927 降至 1.114，完全反向顺序下从 2.168 降至 0.891。该方法在 SMDM 与 Qwen3 上同样有效。
来源：arXiv cs.CL · arxiv.org