热点事件持续更新
消融实验:弱激活可删,强激活不可缺
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月16日,AGI Hunt 报道一项可解释性消融实验:移除模型中最弱的75%激活后,准确率仅从72%降到71%,约1/10的答案发生变化;而移除激活总量相同的最强7%,准确率从72%暴跌到4%,100个答案中有96个被改变。研究还发现,损失最大的位置并不相同——语言模型出现在最后一层,视觉模型则出现在浅层。讨论者指出,“弱激活不重要”实质上等价于“叠加态不是大问题”,同时批评原文对方法论细节交代不足。
AI 根据报道生成 · 2 小时前更新
最新进展10月16日 07:35
新报道补充消融细节:最强7%激活决定准确率,讨论者批评原文方法论交代不足。报道时间线
沿着报道,了解事件的不同侧面。
10月16日
- AGI Hunt可解释性研究:删掉最弱 75% 激活几乎无损,删最强 7% 准确率从 72% 跌到 4%
可解释性研究的消融实验显示,移除模型最弱的 75% 激活,准确率仅从 72% 降到 71%,约 1/10 答案变化;移除激活总量相同的最强 7%,准确率从 72% 暴跌到 4%,96/100 答案改变。损失最大的位置也最易理解:语言模型是最后一层,视觉模型是浅层。讨论者指出「弱激活不重要」实质等价于「叠加态不是大问题」,并称原文方法论细节交代不足。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。