跳到正文
原文
AGI Hunt· AWS ML Blog·· 3 小时前AI 评分58

AWS 详解 Agent 提示缓存:显式+隐式双模式省下重复 token 账单

AI 导读

AWS ML Blog 详解在 Amazon Bedrock 上用 OpenAI 模型的 agent 如何通过 prompt caching 复用前缀 KV 状态,只为新增 token 付费。

来源:AGI Hunt · agihunt.info