Prompt caching 让大小模型路由失效：小模型缓存未命中反而更贵

作者团队发现，给大模型配好 prompt caching 后，原本把简单请求分给小模型的大小模型路由反而变贵。18k token 的系统前缀缓存命中后输入价格只要十分之一，大模型单请求约 1.1 美分；小模型只接约 1/3 流量且突发到达，缓存几乎总过期、全价付前缀，单请求约 2 美分。作者认为短回答请求用大模型加缓存更划算，小模型只在长回答时仍有优势，并考虑改为按预期输出长度路由。