研究：Qwen3.5、Nemotron-H 等混合架构 LLM 几乎只用注意力，辅助损失唤醒循环记忆

针对 Qwen3.5、Nemotron-H 等注意力-循环混合架构 LLM 的研究发现，模型几乎完全依赖注意力通路：屏蔽注意力通路后准确率从 30% 骤降，经过 SFT 依然如此。两条通路各有所长，注意力擅长大海捞针类检索，循环通路利于长上下文。研究者通过辅助训练逼出循环记忆的价值，在相关任务上取得 4.6% 的提升。