研究推出 dropout 缩放律：最优 dropout 率可按激活参数量用 sigmoid 公式预测

一项研究用类似缩放律的推导方法得到 dropout 缩放公式：Dropout = sigmoid(0.526(log ActiveParams − 27.2))，即最优 dropout 率可由模型激活参数量（ActiveParams）预测。分享者调侃称，努力冲前沿的模型「活得够久」就能总结出自己的 dropout 缩放律。