跳到正文
原文
AGI Hunt· AccBalanced·· 2 小时前AI 评分52

Liquid Inference 日均服务 100 亿 token,88.7% 输入 token 为缓存读取

Liquid Inference 日处理百亿 token,88.7% 输入命中缓存

AI 导读

Brett Harrison 披露 Liquid Inference 推理平台日均服务 100 亿 token,周增速 200%,流量以 agent 和长对话为主。在 47 万次计费任务中,88.7% 的输入 token 是缓存读取。平台按包含缓存命中率的预期实际费用而非标价对报价排序,优先把会话路由到仍保有该前缀缓存的供应商,从而以缓存读费率计费。

来源:AGI Hunt · agihunt.info