AGI Hunt· Ding Wu·· 10 小时前AI 评分40
FOVEATED 框架修复知识编辑缺陷,5 种编辑器一致提升原子事实召回
FOVEATED 框架修复知识编辑缺陷,5 种编辑器一致提升原子事实召回
AI 导读
FOVEATED 即插即用框架通过随机偏移前文键的 RoPE 位置,为每句话构造聚焦视图,修复非结构化知识编辑中模型能复述段落却无法独立召回各条事实的「上下文依赖」缺陷。扰动仅在编辑期间施加,推理时模型原生位置编码不受影响。实验在 5 种 KE 编辑器、2 个 LLM 主干和 3 个基准上取得一致提升,并给出理论分析说明其如何抵消段落级编辑目标带来的难度低估。
来源:AGI Hunt · agihunt.info