REFRAG 让 KV 缓存可跨 prompt 复用

2026 年 10 月 5 日，AGI Hunt 报道，CShorten30 在 podcast 中讨论了 REFRAG 这一方案。按其介绍，REFRAG 会为每一个文档块预先计算 embedding，使 KV 缓存能够在任意 prompt、任意顺序下被复用，从而突破传统前缀缓存只能复用固定前缀的限制。报道同时指出该方案的局限：即便做到了 16 倍压缩，也仍然救不了「全库进上下文」这一做法。目前这条报道未给出更多技术细节、评测数据或后续进展。

AI 根据报道生成 · 57 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。