arXiv cs.CL· Ding Wu, Ye Zhang, Haoyu Wang, Tianci Liu·· 1 天前AI 评分36
FOVEATED：以聚焦视图提升非结构化知识编辑中的原子事实召回
Improving Atomic-Fact Recall via Focused Views in Unstructured Knowledge Editing
AI 导读
FOVEATED 是一个即插即用框架，通过随机偏移前置上下文 key 的 RoPE 位置为每句构造聚焦视图，缓解非结构化知识编辑（UKE）的上下文依赖失败模式——编辑后的 LLM 常能复述编辑段落，却无法脱离原文召回其中单个事实。该扰动仅在编辑时施加、之后移除，推理时保留原生位置编码不变，已在五个 KE 编辑器、两个 LLM backbone 和三个 benchmark 上取得一致提升。
来源：arXiv cs.CL · arxiv.org