RoPE 近距偏置拖累长文本，新方案 DaRoPE 改善远距检索

burkov 引述的位置编码研究指出，主流 RoPE 存在「近处 token 优先于远处 token」的固有偏置，在文档问答、代码库分析、复杂推理等长上下文场景中，数千 token 前的关键信息易被近期无关信息覆盖。该研究系统评估现有位置编码的局限，并提出 Data-aware RoPE（DaRoPE），在不牺牲效率与精度的前提下改善长程检索与外推能力。