AGI Hunt· Maximillian Rossi·· 7 小时前AI 评分47
CacheBack 按接收方需求压缩 KV cache:少传 75% 状态,准确率提升 14.7 个点
CacheBack 按接收方需求压缩 KV cache:少传 75% 状态,准确率提升 14.7 个点
AI 导读
CacheBack 提出接收方条件化通信:发送方按接收方给出的信息需求描述过滤压缩 KV cache,只传 25% 的状态,削掉 75%。这一训练无关方法基于发送方的注意力权重做筛选,在 FanOutQA 上 CacheBack + Qwen 3 准确率比文本通信高 14.7 个百分点,中位任务完成延迟降低 3.2 倍。
来源:AGI Hunt · agihunt.info