热点事件持续更新
研究提出 dropout 缩放律:按激活参数量预测最优 dropout
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月16日,有报道介绍一项研究提出 dropout 缩放律。该研究用类似缩放律的推导方法得到 dropout 缩放公式:Dropout = sigmoid(0.526(log ActiveParams − 27.2)),即模型的最优 dropout 率可由激活参数量(ActiveParams)预测。分享者在转述时调侃称,努力冲前沿的模型只要「活得够久」,就能总结出自己的 dropout 缩放律。报道未给出该公式的验证细节与适用范围。
AI 根据报道生成 · 2 小时前更新
最新进展10月16日 04:45
研究提出 dropout 缩放公式,称最优 dropout 率可由激活参数量预测。报道时间线
沿着报道,了解事件的不同侧面。
10月16日
- AGI Hunt研究推出 dropout 缩放律:最优 dropout 率可按激活参数量用 sigmoid 公式预测
一项研究用类似缩放律的推导方法得到 dropout 缩放公式:Dropout = sigmoid(0.526(log ActiveParams − 27.2)),即最优 dropout 率可由模型激活参数量(ActiveParams)预测。分享者调侃称,努力冲前沿的模型「活得够久」就能总结出自己的 dropout 缩放律。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。