字节跳动 Seed 研究：分块 KV 压缩引入相位敏感性，长上下文检索差达 40 点

字节跳动 Seed 团队发现，分块 KV-cache 压缩引入的“相位敏感性”会让长上下文检索准确率随相位呈周期性波动，最多相差 40 个百分点。团队从零预训练多个采用不同 KV 压缩设计的 transformer 均复现该现象，并发现注意力存在不对称的“相位特化”。因此评测此类模型须跨相位测量，只看平均准确率会掩盖该失败模式。