跳到正文
原文
AGI Hunt· AdventurousTwo6445·· 4 小时前AI 评分51

闭式权重手术:少量校准样本把 Qwen 3.5 的 4B 能力移植进 0.8B 模型

闭式权重手术:少量校准样本把 4B 能力移植进 0.8B 模型

AI 导读

作者提出闭式权重手术,在少量校准 prompt 上提取层间隐状态轨迹,直接求解学生模型 SwiGLU MLP 块的权重更新,把 Qwen 3.5 的 4B 能力移植到 0.8B,跳过耗时数周、需数十亿 token 的标准蒸馏。

来源:AGI Hunt · agihunt.info