arXiv cs.CL· Saibo Geng, Andrea Gentilini, Xinxian Ma, Nathan Ranchin, Yunzhen Yao, Robert West·· 3 小时前AI 评分41
zip2zip++：迈向最小质量损失的推理时 Token 压缩
zip2zip++: Towards Inference-Time Token Compression with Minimal Quality Loss
AI 导读
zip2zip++ 用解耦的输入/输出动态嵌入层、size-aware RoPE 定位与支持选择性合并和多视图分词的改良 LZW 编解码器，在不改动预训练模型的前提下缩小了 Token 压缩的质量损失。在四个模型上，该方法提升了所有评测语料的困惑度与数学推理准确率，并在通用文本上以相近压缩率弥补了 zip2zip 与未压缩基线之间约一半的质量差距。
来源：arXiv cs.CL · arxiv.org