AGI Hunt· Aimpoint-Digital·· 4 小时前AI 评分43
Mistral AI、NYU 等研究追踪 Transformer massive activation 生命周期：weight decay 主导其兴衰
研究追踪 Massive Activation 生命周期:weight decay 主导其兴衰
AI 导读
Aimpoint Digital Labs、Mistral AI 与纽约大学的论文追踪了 Transformer 中 massive activation（与 attention sink 相关）的训练全过程演化，发现 weight decay 因果性地主导其激活规模兴衰。
来源：AGI Hunt · agihunt.info