GPU 开销去哪了：训练、推理还是闲置？Reddit 团队真实算力账单讨论

有 Reddit 用户指出，团队 ML 算力成本常被默认等同于训练，但推理全天运行、预留 GPU 在任务间隙大量闲置，并发起训练/推理/闲置比例的粗略调研（示例 30/50/20）。帖子征询降低闲置的手段，包括 autoscaling、spot 实例、共享队列，或靠人自觉释放资源，并附上一个聚焦 infra、serving、监控与生产事故复盘的 Discord。