arXiv cs.CL· Md Shamim Ahmed, Lukas Galke Poech, Richard R\"{o}ttger·· 2 天前AI 评分53
RAG 过期检索证据会覆盖模型正确答案,论文构建 317 例知识反转基准
Stale-Document Poisoning: When Outdated Retrieval Overrides Correct Model Answers
AI 导读
论文识别出 stale-document poisoning(过期文档投毒)现象,即模型在不检索时能答对,检索到过期证据后答案反而被覆盖。作者构建覆盖医学、法律、软件和平台政策的 317 个已验证知识反转基准,在 12 个模型上测试:过期检索让 Llama 30%、Qwen 37% 的回答翻转,加上显式遵循文档的指令后分别升至 66% 和 75%。
来源:arXiv cs.CL · arxiv.org