teortaxesTex：异步超大规模训练的信用分配被视为自改进的关键突破口

teortaxesTex 认为，超大规模异步训练中「有原则的信用分配」是 RSI（自我改进）路上具 foom 性质的基础突破点，需要比「加了拐杖的 backprop」更强的机制。他指出当前神经网络完全同步，在超大集群上有严重的 straggler 问题，等待最慢的 GPU 完成会拖垮 MFU。