跳到正文
原文
AGI Hunt· Shanghai-AI-Laboratory·· 5 小时前AI 评分43

上海 AI Lab 提出 SCALE:用熵引导门控抑制与反转 SFT 特征

上海 AI Lab 提出 SCALE:用熵引导门控实现对 SFT 特征的抑制与反转

AI 导读

上海 AI Lab 提出 SCALE,通过最小化预测熵学习有界的 token/模块级门控,可按与熵下降的对齐程度抑制、反转或外推 SFT 特征,弥补现有 token 重加权只能赋非负系数、无法反转已学有害特征的不足。

来源:AGI Hunt · agihunt.info