上海AI Lab提出SCALE改进SFT token重加权

2026年10月5日，AGI Hunt 报道，上海 AI Lab 提出 SCALE 方法，用于改进监督微调（SFT）中的 token 重加权。该方法通过最小化预测熵，学习有界的 token 级与模块级门控，并按照门控与熵下降的对齐程度，对 SFT 特征分别进行抑制、反转或外推。报道称，现有 token 重加权方法只能赋予非负系数，无法反转模型在 SFT 中已经学到的有害特征，SCALE 正是为弥补这一不足而提出。目前公开信息集中在方法思路与动机层面，报道未披露具体实验设置与结果，也未见后续进展。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。