跳到正文
热点事件持续更新

开发者提出在冻结LLM第3层注入记忆张量

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

有开发者提出一种记忆注入方案:让冻结的 Qwen2.5-7B-Instruct 读入事实一次,把第 3 层的残差表示 H3 与第 0–3 层的 attention K/V 打包成一张「记忆卡带」;回答问题时在第 3 层边界注入这张卡带。报道称,该过程全程不做梯度更新,也不使用 LoRA,即不通过 RAG、不做微调。报道未给出该方案的评测结果或复现情况。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. AGI Hunt
    不用 RAG 不微调:开发者把记忆张量注入冻结的 Qwen2.5-7B-Instruct 第 3 层

    开发者让冻结的 Qwen2.5-7B-Instruct 读入事实一次,把第 3 层残差表示 H3 与 0-3 层 attention K/V 打包成「记忆卡带」,回答时在第 3 层边界注入,全程无梯度更新与 LoRA。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。