跳到正文
原文
AGI Hunt· markjeffrey·· 3 小时前AI 评分42

Bittensor 子网 iota 将去中心化训练产品化:流水线并行突破单机上限

Bittensor 子网 iota 产品化去中心化训练:流水线并行突破单机上限

AI 导读

Bittensor 上的 Subnet 9(iota,由 Macrocosmos 开发)宣布将 AI 去中心化训练产品化,任何人都可以租用它训练自己的模型。iota 采用流水线并行,每台机器只持有模型的一个切片,使模型规模可随网络扩张而扩展,突破数据并行下模型大小被单机卡死的限制。Macrocosmos 还用 Orion 试验表明长尾团队也能训出 16B 与 100B 模型。

来源:AGI Hunt · agihunt.info