USC 提出 HeteroFold 免预填充跨模型缓存传输

南加州大学（USC）团队提出 HeteroFold，针对跨模型家族的 KV 缓存传输，在发送方与接收方模型均保持冻结的前提下实现免预填充（prefill）传输，使接收方无需重复执行预填充。方法上先对齐两个模型的结构，再把发送方的 KV 缓存映射到接收方空间并做校准。据报道，该方法在 6 个传输方向与 4 个长上下文基准上取得最佳缓存传输性能，并在 32K 上下文下最高快 10 倍。这是该事件目前的最新报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。