跳到正文
原文
AGI Hunt· bibryam·· 3 小时前AI 评分59

实测:agent harness 缓存未命中率相差约 7 倍,缓存未中使单请求能耗翻倍

实测:Agent 框架缓存命中率差 7 倍,一次缓存未中能耗翻倍

AI 导读

Neuralwatt Cloud 分析一个月生产流量后发现,调用模型的 agent harness 对推理能耗影响显著:deepseek-harness 缓存未命中率仅 1.6%,Node.js 应用高达 11.1%,92% 与 97% 的缓存率对应 prefill 工作量相差约 2.7 倍。

来源:AGI Hunt · agihunt.info