Prompt caching 让大小模型路由失效

2026 年 10 月 14 日，AGI Hunt 报道称，一个作者团队发现：为大模型配置 prompt caching 后，原本把简单请求分流给更便宜小模型的大小模型路由反而变贵。原因是 18k token 的系统前缀在缓存命中后，输入价格只要原价的十分之一，大模型单请求成本约 1.1 美分；而小模型只承接约三分之一流量、且请求突发到达，缓存几乎总是过期，前缀需按全价付费，单请求约 2 美分。作者由此认为，短回答请求用大模型加缓存更划算，小模型只在长回答时仍有优势，并考虑把路由策略改为按预期输出长度来决定。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。