AGI Hunt· narniaaaaa0421·· 4 小时前AI 评分48
LoRA 分层消融实测:Qwen3 8B 上代码吃 MLP、推理靠注意力
LoRA 分层消融实测:代码吃 MLP、推理靠注意力
AI 导读
针对 Thinking Machines 的 LoRA 微调建议,作者在 Qwen3 8B 上做逐层冻结消融:全层训练最好,代码任务 61%、推理任务 72%。代码任务只训 MLP 得 59% 几乎打平,只训注意力崩到 38%;推理任务结论反转,冻结注意力最差 49%,只训注意力 66% 但多步推理退化。作者建议默认全层开启,并指出该结果与 OpenThoughts 相矛盾,差异或来自数据集。
来源:AGI Hunt · agihunt.info