跳到正文
热点事件持续更新

对比 RNN、Transformer、SSM 与 BDH 的工作记忆机制

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

2026 年 10 月 7 日,AGI Hunt 报道,有研究者从「工作记忆存在哪里」这一角度,重新对比 RNN、Transformer、SSM/Mamba 与 BDH 四种架构。报道称,RNN 把记忆压缩在递归隐藏状态中,参数量约为 O(N²),而跨时间传递的状态仅 O(N);Transformer 则把过去的表示存为 KV 缓存用于注意力计算,其权重在推理期保持冻结,由此形成「固定权重 + 快变 KV 缓存」的分裂结构。报道围绕这四种架构在记忆存放位置上的差异展开讨论。

AI 根据报道生成 · 53 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月7日
  1. AGI Hunt
    记忆到底存在哪:RNN、Transformer 与 SSM 的工作记忆对比

    研究者从「工作记忆存在哪里」的角度重新对比 RNN、Transformer、SSM/Mamba 与 BDH 四种架构。RNN 把记忆压缩在递归隐藏状态,参数量约 O(N²) 而跨时间状态仅 O(N);Transformer 把过去表示存为 KV 缓存做注意力,权重在推理期冻结,形成「固定权重 + 快变 KV 缓存」的分裂。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。