arXiv cs.CL· Kirill Afendulev, Alexey Dontsov, Alla Chepurova, Elena Tutubalina, Anton Korznikov·· 3 小时前AI 评分45
上下文还是知识：大语言模型如何归因自身回答来源
Context or Knowledge: How LLMs Attribute Their Own Answers
AI 导读
在四个 7B-32B 大语言模型的受控事实任务中，模型对答案来源的报告由作答时生成的 KV cache 因果决定。改动或删除文档缓存不会改变来源报告，而移植相同问题与答案 token 的 Q+A 缓存会让合格报告跟随供体，且受体文档不变。较小两个模型上，沿拟合方向操控 Q+A 值可逆转 98.9-100% 的报告，范数匹配的随机方向最多翻转 1.1%。
来源：arXiv cs.CL · arxiv.org