AGI Hunt· realDanFu·· 4 小时前AI 评分43
UC San Diego 与 Together AI 提出 BeNice!：循环 Transformer KV 缓存共享，GPU 显存省 66%
循环 Transformer KV 缓存共享新法：GPU 显存省 66%、首 token 延迟降 83.6%
AI 导读
UC San Diego 与 Together AI 团队提出 BeNice! 方法，解决循环 Transformer 每次循环都生成独立 KV-cache、显存随循环数线性增长的问题。
来源：AGI Hunt · agihunt.info