约 2000 美元训练 Apex-2：双 GH200 + DiLoCo 与 57% 重复数据的教训

独立开发者以约 2,000 美元从零训练 MoE 模型 Apex-2，改用两个 GH200 实例（$2.29/卡/时）跑 DiLoCo 分布式训练，每 350 步合并一次模型，速度约为单卡的 1.9 倍。