跳到正文
原文
AGI Hunt· AdventurousTwo6445·· 3 小时前AI 评分34

闭式权重手术:0.8B 模型 ARC-Challenge 达 42.15%,跑赢 2B 模型

闭式权重手术让 0.8B 模型跑赢 2B 模型

AI 导读

研究者提出"闭式权重手术",仅用少量校准 prompt 提取教师模型层间隐状态轨迹,以 SVD delta 闭式求解学生模型 SwiGLU MLP 权重更新,全程零反向传播,把 4B 能力移植进 0.8B 模型。

来源:AGI Hunt · agihunt.info