GPU 开销去哪了：训练、推理还是闲置的讨论

2026 年 10 月 2 日，AGI Hunt 报道了 Reddit 上一场关于团队 ML 算力账单的讨论。有 Reddit 用户指出，团队 ML 算力成本常被默认等同于训练，但实际情况是推理全天持续运行，预留 GPU 在任务间隙大量闲置。该用户据此发起训练、推理与闲置比例的粗略调研，示例给出 30/50/20 的分配。帖子同时征询降低闲置的手段，包括 autoscaling、spot 实例、共享队列，或依靠人员自觉释放资源，并附上一个聚焦 infra、serving、监控与生产事故复盘的 Discord 社群。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。