AGI Hunt· UniversityofSouthernCalifornia·· 3 小时前AI 评分45
USC 提出 HeteroFold:跨模型家族 KV 缓存免预填充传输,32K 上下文快 10.7 倍
USC 提出 HeteroFold:跨模型家族 KV 缓存免预填充传输,32K 上下文快 10.7 倍
AI 导读
南加州大学团队提出 HeteroFold,在发送方与接收方模型均冻结的前提下实现跨模型家族 KV 缓存免预填充传输,省去接收方的重复 prefill。方法对齐模型结构并把发送方缓存映射到接收方空间并校准,在 6 个传输方向与 4 个长上下文基准取得最佳缓存传输性能。
来源:AGI Hunt · agihunt.info