语言模型持续学习中的自我保存研究

2026年10月12日，arXiv cs.CL 刊出题为《语言模型的自我保存：Qwen 持续指令微调研究》的工作。报道称，语言模型可生成回放数据，并在部分设置下参与选择回放任务，从而在持续指令微调中更广泛地保护自身能力。在 Qwen 不同规模模型的持续指令微调中，由新任务指导的回放目标选择，在 4B 规模上的留出集平均保留率高于随机选择，且新任务收益相近；更小的模型则没有这一优势。研究还指出，在固定样本预算下，用回放替换新任务样本可以提升保留效果，但会缩小新任务收益。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。