AGI Hunt· solyarisoftware·· 2 小时前AI 评分50
清华团队开源 C2C:LLM 直接交换 KV-Cache,延迟提速 2.5 倍
清华团队开源 C2C:LLM 直接交换 KV-Cache,提速 2.5 倍
AI 导读
清华大学、上海AI Lab 等机构开源 C2C(Cache-to-Cache)通信框架,让多个 LLM 协作时直接投影、融合彼此的 KV-Cache,绕过文本生成。实测相比文本通信范式准确率提升约 3.1–5.4%,响应延迟平均提速 2.5 倍。代码已在 github.com/thu-nics/C2C 开源。
来源:AGI Hunt · agihunt.info