跳到正文
原文
AGI Hunt· vigilAPI·· 2 天前精选AI 评分67

月账单 1.14 万美元查不清去向:一个团队的 LLM 成本失控复盘

AI 导读

一个跑着约 15 个 LLM 功能(agent、分类、摘要)的团队发现推理开销一个季度涨了约 8 倍,上月账单达 11,400 美元,却查不清是哪个功能、哪家供应商或哪个客户造成的,因为调用都藏在散落代码库的 SDK 里。

推荐理由

一个季度推理开销涨约 8 倍的复盘,给出 retry 上限、prompt 膨胀与按功能归因三个可复用的排查点。

来源:AGI Hunt · agihunt.info