KAIST 与 LG AI Research 提出 SynthSelf，让小模型持续学习不再遗忘旧能力

KAIST AI 与 LG AI Research 提出 SynthSelf，让持续后训练的小模型学新不忘旧。它把 SDFT 的同分布改写任务外包给同家族稍大的「对齐器」模型，配合离策略监督与拒绝采样。在 4 个能力获取数据集与 14 个保持能力基准上，SynthSelf 优于 6 种方法，保持能力仅损失约 1 个百分点，获取能力提升约 22 个百分点。