为何 LLM 超出训练上下文长度即崩溃：RoPE 几何框架给出解释

一项研究为 LLM 输入超出训练上下文长度后的性能崩溃给出解释：通过统一的几何框架说明 RoPE 在长输入下的退化机制。此前研究把这一失败归因于旋转值漂移出分布，但确切机制一直未被解释。现代 LLM 依赖 attention 机制并用 RoPE 追踪词序，输入超过初始训练上下文长度后就会出现严重性能下降。