研究：Transformer与Mamba全局表征迥异、局部相似

2026年10月25日，AGI Hunt 报道一项将在 EMNLP 2026 展示的研究：该研究比较了 Transformer 与 Mamba（状态空间模型）的表征几何，发现两者全局表征空间差异明显，但局部邻近词邻域的结构相似。报道以「首都」词簇为例配图，显示两者局部邻域布局高度一致。研究由此追问：架构不同是否意味着模型「理解」世界的方式不同；其给出的答案是全球层面不同、局部层面相似。报道未披露更多实验细节，该工作目前处于论文即将展示阶段。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。