Ragged KV 让循环语言模型推理 FLOPs 直降 25%，无需重训练

Ragged KV 在循环语言模型 Ouro 上减少 25% 的推理 FLOPs 与内存占用，精度不变且无需重新训练。研究指出，Ouro 号称支持动态计算、简单 token 可提前退出，实际却对所有循环都做完整计算。作者提出的全局退出目标，是实现真正按难度感知的提前退出。