AGI Hunt· vigilAPI·· 2 天前精选AI 评分67
月账单 1.14 万美元查不清去向:一个团队的 LLM 成本失控复盘
AI 导读
一个跑着约 15 个 LLM 功能(agent、分类、摘要)的团队发现推理开销一个季度涨了约 8 倍,上月账单达 11,400 美元,却查不清是哪个功能、哪家供应商或哪个客户造成的,因为调用都藏在散落代码库的 SDK 里。
推荐理由
一个季度推理开销涨约 8 倍的复盘,给出 retry 上限、prompt 膨胀与按功能归因三个可复用的排查点。
来源:AGI Hunt · agihunt.info