跳到正文
原文
AGI Hunt· AccBalanced·· 3 小时前AI 评分53

分析称推理服务商亲手挤压自身利润,出路在每 GPU 小时产出更多 token

推理服务商自造挤利润的市场:出路只有每 GPU 小时榨出更多 token

AI 导读

AccBalanced 分析推理服务商的经济模型,认为各家卖同样的开源模型又抢同样的 GPU,反而亲手压低 token 价格、推高 GPU 成本。其结论是唯一出路在于提高每 GPU 小时的 token 产出,靠更好的软件或在便宜硬件上跑推理做差异化。

来源:AGI Hunt · agihunt.info