DaRoPE 新方案改善 RoPE 长程检索

2026年10月1日，AGI Hunt 报道，burkov 引述的一项位置编码研究指出，主流 RoPE 存在「近处 token 优先于远处 token」的固有偏置。该偏置在文档问答、代码库分析、复杂推理等长上下文场景中带来实际影响：位于数千 token 之前的关键信息容易被近期无关信息覆盖。报道称，该研究系统评估了现有位置编码的局限，并提出 Data-aware RoPE（DaRoPE），在不牺牲效率与精度的前提下改善长程检索与外推能力。截至目前，报道未披露该方案的实现细节、实验数据与发布时间，也未见其他来源的独立报道，后续进展尚待观察。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。