跳到正文
原文
AGI Hunt· solyarisoftware·· 2 小时前AI 评分50

清华团队开源 C2C:LLM 直接交换 KV-Cache,延迟提速 2.5 倍

清华团队开源 C2C:LLM 直接交换 KV-Cache,提速 2.5 倍

AI 导读

清华大学、上海AI Lab 等机构开源 C2C(Cache-to-Cache)通信框架,让多个 LLM 协作时直接投影、融合彼此的 KV-Cache,绕过文本生成。实测相比文本通信范式准确率提升约 3.1–5.4%,响应延迟平均提速 2.5 倍。代码已在 github.com/thu-nics/C2C 开源。

来源:AGI Hunt · agihunt.info