语言模型的自我保存：Qwen 持续指令微调研究

语言模型可生成回放数据、并在部分设置下参与选择回放任务，从而在持续指令微调中更广泛地保护自身能力。在 Qwen 不同规模模型的持续指令微调中，由新任务指导的回放目标选择在 4B 规模上留出集平均保留率高于随机选择，且新任务收益相近，更小模型则无此优势。固定样本预算下，用回放替换新任务样本可提升保留效果，但会缩小新任务收益。