跳到正文
热点事件持续更新

Projection sampling:SFT 抗遗忘框架

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月3日,AGI Hunt 报道了名为 Projection sampling 的预训练数据变换框架。据该报道,这一框架把外部专家示范数据变换成与基座模型内部分布高度匹配的轨迹,从而使标准 SFT 在学习新能力的同时避免灾难性遗忘,并保持泛化能力。报道称,该框架针对的是现有方法面临的两难:SFT 虽然能引入外部专家的解法,却常常引发灾难性遗忘、泛化较差;RL 虽然能较好地保留旧技能,但依赖模型自己探索出正确解,对基座模型原本解决不了的复杂问题无能为力。报道中未给出更多实验细节或后续进展。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月3日
  1. AGI Hunt
    Projection sampling:让 SFT 学新能力而不遗忘旧技能的数据变换框架

    Projection sampling 是一个预训练数据变换框架,把外部专家示范数据变换成与基座模型内部分布高度匹配的轨迹,使标准 SFT 在学习新能力的同时避免灾难性遗忘并保持泛化。该框架针对的是 SFT 虽能引入外部专家解法却常引发灾难性遗忘和泛化差、而 RL 虽能较好保留旧技能但依赖模型自己探索出正确解、对基座模型原本解不了的复杂问题无能为力的两难。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。