跳到正文
原文
AGI Hunt· burkov·· 3 小时前AI 评分31

Projection sampling:让 SFT 学新能力而不遗忘旧技能的数据变换框架

AI 导读

Projection sampling 是一个预训练数据变换框架,把外部专家示范数据变换成与基座模型内部分布高度匹配的轨迹,使标准 SFT 在学习新能力的同时避免灾难性遗忘并保持泛化。该框架针对的是 SFT 虽能引入外部专家解法却常引发灾难性遗忘和泛化差、而 RL 虽能较好保留旧技能但依赖模型自己探索出正确解、对基座模型原本解不了的复杂问题无能为力的两难。

来源:AGI Hunt · agihunt.info