跳到正文
原文
AGI Hunt· royschwartzNLP·· 3 小时前AI 评分37

EMNLP 2026 论文:Transformer 与 Mamba 全局表征迥异,局部结构却相似

EMNLP 论文:Transformer 与 Mamba 全局表征迥异,局部结构却相似

AI 导读

一项将在 EMNLP 2026 展示的研究比较了 Transformer 与 Mamba(状态空间模型)的表征几何,发现两者全局表征空间差异明显,但局部邻近词邻域的结构相似。配图以「首都」词簇为例,显示两者局部邻域布局高度一致。研究由此追问:架构不同是否意味着模型「理解」世界的方式不同,答案是全球层面不同、局部层面相似。

来源:AGI Hunt · agihunt.info