你的 LLM 拥有一片弯曲的段落空间

实验提出 hRoPE，为段落、句子和 token 索引各设相互独立的旋转通道，以检验 Transformer 的位置编码是否丢失层级信息。在 WikiText-2、OpenWebText 和 Python 源码三个语料上，抹掉真实段落边界会降低跨段注意力，插入假边界则抬高它。