热点事件持续更新
论文分析 DeepSeek mHC 残差流选择性路由
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
2026 年 10 月 5 日，AGI Hunt 报道一篇新论文对 DeepSeek-V4-Flash 所采用的 mHC 架构进行了分析。研究发现，mHC 的四条残差流并未被均匀使用，同一 Attention 或 FFN 子层内的读写权重集中在约两条流上，呈现选择性的路由特征。论文进一步指出，到第 22–42 层，残差混合矩阵几乎退化为恒等矩阵。干预实验显示，移除最弱的读写路径后，模型在六个任务上的平均分最多下降 0.38 分，表明这些使用较少的路径仍起一定作用。报道未提及更早的相关结论，因此暂无前后不一致的数字或说法。
AI 根据报道生成 · 2 小时前更新
最新进展10月5日 22:33
新论文称 mHC 四条残差流仅约两条被重度使用，深层混合矩阵近乎恒等，移除最弱路径平均分最多降 0.38 分。报道时间线
沿着报道，了解事件的不同侧面。
10月5日
- AGI Hunt研究：DeepSeek mHC 四条残差流仅重度使用两条，深层混合矩阵近恒等
新论文分析 DeepSeek-V4-Flash 所用的 mHC 架构发现，四条残差流并未被均匀使用，同一 Attention 或 FFN 子层内的读写权重集中在约两条流上。到第 22–42 层，残差混合矩阵几乎退化为恒等矩阵。干预实验显示，移除最弱读写路径后六任务平均分最多下降 0.38 分。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。