AGI Hunt· jiqizhixin·· 8 小时前AI 评分43
研究:DeepSeek mHC 四条残差流仅重度使用两条,深层混合矩阵近恒等
研究:DeepSeek mHC 四条残差流只重度使用两条,深层混合矩阵近恒等
AI 导读
新论文分析 DeepSeek-V4-Flash 所用的 mHC 架构发现,四条残差流并未被均匀使用,同一 Attention 或 FFN 子层内的读写权重集中在约两条流上。到第 22–42 层,残差混合矩阵几乎退化为恒等矩阵。干预实验显示,移除最弱读写路径后六任务平均分最多下降 0.38 分。
来源:AGI Hunt · agihunt.info