热点事件持续更新
研究：注意力非线性催生幂律激活与scaling law
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月2日，AGI Hunt 报道了一项研究。研究者提出，Transformer 为聚焦特定 token 所需的非线性，会自然产生幂律形式的 massive activation（个别特征激活值异常巨大），以及幂律形式的 loss 下降曲线。报道称，这意味着模型对关键 token 的注意力集中方式，与随训练规模提升的 loss 规律，可能由同一套数学机制驱动，从而为理解 scaling law 的起源提供了新视角。该报道是这一事件目前唯一的信息来源，后续进展尚未见披露。
AI 根据报道生成 · 2 小时前更新
最新进展10月2日 18:59
研究者提出注意力非线性可同时催生幂律 massive activation 与幂律 loss 曲线。报道时间线
沿着报道，了解事件的不同侧面。
10月2日
- AGI Hunt研究：Transformer 注意力非线性催生幂律 massive activation 与 scaling law
研究者提出，Transformer 为聚焦特定 token 所需的非线性，会自然产生幂律形式的 massive activation（个别特征激活值异常巨大）以及幂律形式的 loss 下降曲线。这意味着模型对关键 token 的注意力集中方式与随训练规模提升的 loss 规律，可能由同一套数学机制驱动，为理解 scaling law 的起源提供了新视角。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。