AGI Hunt· AdventurousTwo6445·· 4 小时前AI 评分51
闭式权重手术:少量校准样本把 Qwen 3.5 的 4B 能力移植进 0.8B 模型
闭式权重手术:少量校准样本把 4B 能力移植进 0.8B 模型
AI 导读
作者提出闭式权重手术,在少量校准 prompt 上提取层间隐状态轨迹,直接求解学生模型 SwiGLU MLP 块的权重更新,把 Qwen 3.5 的 4B 能力移植到 0.8B,跳过耗时数周、需数十亿 token 的标准蒸馏。
来源:AGI Hunt · agihunt.info