AGI Hunt· Shanghai-AI-Laboratory·· 5 小时前AI 评分43
上海 AI Lab 提出 SCALE:用熵引导门控抑制与反转 SFT 特征
上海 AI Lab 提出 SCALE:用熵引导门控实现对 SFT 特征的抑制与反转
AI 导读
上海 AI Lab 提出 SCALE,通过最小化预测熵学习有界的 token/模块级门控,可按与熵下降的对齐程度抑制、反转或外推 SFT 特征,弥补现有 token 重加权只能赋非负系数、无法反转已学有害特征的不足。
来源:AGI Hunt · agihunt.info