跳到正文
原文
AGI Hunt· ByteDance-Seed·· 3 小时前AI 评分40

字节 Seed 提出 Cortex:把上下文蒸馏为参数记忆,14B 模型保 88.9% 增益

字节 Seed 提出 Cortex:把上下文蒸馏为参数记忆,14B 模型保 88.9% 增益

AI 导读

字节 Seed 联合浙大与清华提出 Memory Consolidation(记忆巩固)任务,将上下文带来的能力增益内化到模型参数中,同时不损害其他能力,并统一了上下文编辑、技能学习与行为引导三类问题。Cortex 的 14B 模型保留了 88.9% 的增益。

来源:AGI Hunt · agihunt.info