RoPE几何框架解释LLM长输入性能崩溃

关于大模型输入超出训练上下文长度后性能骤降的原因，早先研究将其归因于旋转值漂移出分布，但确切机制一直未被解释。2026年10月13日有报道介绍一项研究：该研究通过一个统一的几何框架，说明 RoPE 在长输入下的退化机制，为这一失败现象给出解释。报道指出，现代 LLM 依赖 attention 机制并使用 RoPE 追踪词序，输入一旦超过初始训练上下文长度，就会出现严重性能下降；该研究正是针对这一机制展开分析，指出此前归因未触及确切机理。目前报道未披露该几何框架的具体推导与实验验证细节。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。