AGI Hunt· AccBalanced·· 3 小时前AI 评分53
分析称推理服务商亲手挤压自身利润,出路在每 GPU 小时产出更多 token
推理服务商自造挤利润的市场:出路只有每 GPU 小时榨出更多 token
AI 导读
AccBalanced 分析推理服务商的经济模型,认为各家卖同样的开源模型又抢同样的 GPU,反而亲手压低 token 价格、推高 GPU 成本。其结论是唯一出路在于提高每 GPU 小时的 token 产出,靠更好的软件或在便宜硬件上跑推理做差异化。
来源:AGI Hunt · agihunt.info