热点事件持续更新

LoRA分层消融实测：代码靠MLP、推理靠注意力

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

此事源于 Thinking Machines 提出的 LoRA 微调建议。2026 年 10 月 16 日，AGI Hunt 报道有作者在 Qwen3 8B 上做逐层冻结消融实测，结果显示全层训练效果最好：代码任务 61%、推理任务 72%。分层结果出现分化——代码任务只训 MLP 得 59%，几乎与全层打平，只训注意力则崩到 38%；推理任务结论反转，冻结注意力最差仅 49%，只训注意力为 66%，但多步推理出现退化。作者据此建议默认全层开启，并指出该结果与 OpenThoughts 相矛盾，差异可能来自数据集。

AI 根据报道生成 · 3 小时前更新

最新进展10月16日 20:05

Qwen3 8B 逐层冻结消融显示代码任务靠 MLP、推理靠注意力，作者建议默认全层开启。

报道时间线

沿着报道，了解事件的不同侧面。

10月16日

20:05
AGI Hunt
LoRA 分层消融实测：Qwen3 8B 上代码吃 MLP、推理靠注意力
针对 Thinking Machines 的 LoRA 微调建议，作者在 Qwen3 8B 上做逐层冻结消融：全层训练最好，代码任务 61%、推理任务 72%。代码任务只训 MLP 得 59% 几乎打平，只训注意力崩到 38%；推理任务结论反转，冻结注意力最差 49%，只训注意力 66% 但多步推理退化。作者建议默认全层开启，并指出该结果与 OpenThoughts 相矛盾，差异或来自数据集。

本事件热度走势

当前热度 9·可比范围峰值 10（10月16日 21:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。