arXiv cs.CL· Marc Serra Ortega, Andrey Barsky, Carlos Boned Riera, Tom\'as Ockier, Dimosthenis Karatzas·· 4 小时前AI 评分45
Boa Compressor：基于 Mamba 状态空间编码的线性时间上下文压缩
Linear-Time Context Compression with State-Space Encoding
AI 导读
Boa Compressor 通过 Mamba 状态空间模型实现即插即用的在线上下文压缩，可在单次线性时间编码中压缩任意长度上下文。相同压缩比下，其性能匹配或超过现有 SOTA 离线压缩基线，且比基于 Transformer 的实现快一个数量级，降低端到端延迟。它还能扩展到更长上下文，支持高达 16x 的压缩比。
来源：arXiv cs.CL · arxiv.org