研究：Transformer 注意力非线性催生幂律 massive activation 与 scaling law

研究者提出，Transformer 为聚焦特定 token 所需的非线性，会自然产生幂律形式的 massive activation（个别特征激活值异常巨大）以及幂律形式的 loss 下降曲线。这意味着模型对关键 token 的注意力集中方式与随训练规模提升的 loss 规律，可能由同一套数学机制驱动，为理解 scaling law 的起源提供了新视角。