跳到正文
热点事件持续更新

研究提出 dropout 缩放律:按激活参数量预测最优 dropout

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026年10月16日,有报道介绍一项研究提出 dropout 缩放律。该研究用类似缩放律的推导方法得到 dropout 缩放公式:Dropout = sigmoid(0.526(log ActiveParams − 27.2)),即模型的最优 dropout 率可由激活参数量(ActiveParams)预测。分享者在转述时调侃称,努力冲前沿的模型只要「活得够久」,就能总结出自己的 dropout 缩放律。报道未给出该公式的验证细节与适用范围。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. AGI Hunt
    研究推出 dropout 缩放律:最优 dropout 率可按激活参数量用 sigmoid 公式预测

    一项研究用类似缩放律的推导方法得到 dropout 缩放公式:Dropout = sigmoid(0.526(log ActiveParams − 27.2)),即最优 dropout 率可由模型激活参数量(ActiveParams)预测。分享者调侃称,努力冲前沿的模型「活得够久」就能总结出自己的 dropout 缩放律。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。