热点事件持续更新
通过干预KV缓存研究LLM答案来源归因
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月26日,arXiv cs.CL 发布一项研究,考察大语言模型如何报告自身回答的来源是来自上下文还是参数知识。研究在四个规模为7B至32B的大语言模型上开展受控事实任务,发现模型的来源报告由作答时生成的 KV cache 因果决定:改动或删除文档缓存不会改变来源报告,而把相同问题与答案 token 的 Q+A 缓存移植到另一模型后,合格报告会跟随供体,受体文档保持不变。研究进一步显示,在较小两个模型上沿拟合方向操控 Q+A 值可逆转 98.9%–100% 的报告,而范数匹配的随机方向最多只翻转1.1%。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 12:00
新论文称模型来源报告由作答时的 KV cache 因果决定,移植 Q+A 缓存即可让报告跟随供体。报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- arXiv cs.CL上下文还是知识:大语言模型如何归因自身回答来源
在四个 7B-32B 大语言模型的受控事实任务中,模型对答案来源的报告由作答时生成的 KV cache 因果决定。改动或删除文档缓存不会改变来源报告,而移植相同问题与答案 token 的 Q+A 缓存会让合格报告跟随供体,且受体文档不变。较小两个模型上,沿拟合方向操控 Q+A 值可逆转 98.9-100% 的报告,范数匹配的随机方向最多翻转 1.1%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。