热点事件持续更新
开发者提出在冻结LLM第3层注入记忆张量
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
有开发者提出一种记忆注入方案:让冻结的 Qwen2.5-7B-Instruct 读入事实一次,把第 3 层的残差表示 H3 与第 0–3 层的 attention K/V 打包成一张「记忆卡带」;回答问题时在第 3 层边界注入这张卡带。报道称,该过程全程不做梯度更新,也不使用 LoRA,即不通过 RAG、不做微调。报道未给出该方案的评测结果或复现情况。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- AGI Hunt不用 RAG 不微调:开发者把记忆张量注入冻结的 Qwen2.5-7B-Instruct 第 3 层
开发者让冻结的 Qwen2.5-7B-Instruct 读入事实一次,把第 3 层残差表示 H3 与 0-3 层 attention K/V 打包成「记忆卡带」,回答时在第 3 层边界注入,全程无梯度更新与 LoRA。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。