AGI Hunt· AccBalanced·· 7 小时前AI 评分49
Nvidia Dynamo 分析:Agent 工作负载令 KV cache 成存储难题,读写比达 11.7 倍
Agent 工作负载令 KV cache 成存储难题:读写比达 11.7 倍
AI 导读
Nvidia Dynamo 团队分析一个含 42 次 tool-call 的 Claude Code 会话:89.1 万次 cached-token 读对 7.6 万次写,读写比达 11.7×,可复用 KV cache 正溢出到 HBM、CPU 内存、闪存等多层存储。
来源:AGI Hunt · agihunt.info