研究者预测：零阶优化方法或最终取代反向传播

有研究者预测，零阶优化方法可能最终取代反向传播，因为「苦涩的教训」终将波及优化研究本身。其依据是届时可训练一大类不可微架构、不再受可微性约束，同时当前基于采样的方法仍远贵于反向传播。在同一架构内，还可探索损失面，找到远优于反向传播一阶梯度的下降方向。