跳到正文
原文
AGI Hunt· baidu·· 2 小时前AI 评分35

百度提出 Virtual Head Attention:同时压 KV cache、算力并保质量

AI 导读

百度与北京大学合作提出 Virtual Head Attention(VHA),以两个轻量线性操作同时压缩长上下文 LLM 的 KV cache、训练与 prefill FLOPs 并保持质量。

来源:AGI Hunt · agihunt.info