跳到正文
原文
AGI Hunt· CShorten30·· 5 小时前AI 评分34

REFRAG 让 KV 缓存跨 prompt 复用，但 16x 压缩也救不了「全库进上下文」

REFRAG 让 KV 缓存跨 prompt 复用,但 16x 压缩也救不了「全库进上下文」

AI 导读

CShorten30 在 podcast 中讨论 REFRAG：为每个文档块预计算 embedding，让 KV 缓存可在任意 prompt、任意顺序下复用，突破前缀限制。

来源：AGI Hunt · agihunt.info

#教程/实践#RAG#部署/工程