arXiv cs.CL· Guancheng Du, Luotian Huang, Shaowen Wang, Si Li, Kaifeng Lyu·· 4 小时前AI 评分44
WavePrune：RoPE 一个旋转周期往往就够了
WavePrune: One period is often enough for RoPE
AI 导读
WavePrune 把 RoPE 每个通道限制在第一个旋转周期内，消除位置混叠对注意力图的干扰。它在 5 个测试模型中的 4 个上无需额外调优即提升 HELMET 分数，例如 Qwen3-8B 从 35.7 升至 40.0；其 CUDA kernel 在 32K 上下文下比 FlashAttention-2 实现 1.15x prefill 与 1.24x 解码加速。
来源：arXiv cs.CL · arxiv.org