AGI Hunt· meituan-longcat·· 4 小时前AI 评分42
美团 LongCat 团队提出 QuantMLA：128K 上下文 KV 缓存压缩 3.59 倍
美团 LongCat 团队 QuantMLA：128K 上下文 KV 缓存压缩 3.59 倍
AI 导读
港大与美团 LongCat 团队等提出 QuantMLA，为 MLA 内容缓存与 RoPE 路径做双路低比特量化，首次实现两者联合 INT4 量化，内容缓存可再压至 INT2、RoPE key 保持 INT4。
来源：AGI Hunt · agihunt.info