AWS Machine Learning Blog· Claudio Mazzoni·· 3 小时前AI 评分49
AI 智能体的“土拨鼠之日”:Amazon Bedrock 上 OpenAI 模型的提示词缓存模式
Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock
AI 导读
AI 智能体在 Amazon Bedrock 上调用 OpenAI 模型时,可用提示词缓存复用工具定义、指令与历史,避免每轮重发全部上下文并降低输入成本。缓存分隐式和显式,显式用 prompt_cache_breakpoint 标记前缀,前缀需达 1,024 tokens;测试中约 4,000-token 前缀首次写入 4,120 tokens,后续请求直接读取这 4,120 tokens。
来源:AWS Machine Learning Blog · aws.amazon.com