跳到正文
热点事件持续更新

消融实验:弱激活可删,强激活不可缺

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月16日,AGI Hunt 报道一项可解释性消融实验:移除模型中最弱的75%激活后,准确率仅从72%降到71%,约1/10的答案发生变化;而移除激活总量相同的最强7%,准确率从72%暴跌到4%,100个答案中有96个被改变。研究还发现,损失最大的位置并不相同——语言模型出现在最后一层,视觉模型则出现在浅层。讨论者指出,“弱激活不重要”实质上等价于“叠加态不是大问题”,同时批评原文对方法论细节交代不足。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. AGI Hunt
    可解释性研究:删掉最弱 75% 激活几乎无损,删最强 7% 准确率从 72% 跌到 4%

    可解释性研究的消融实验显示,移除模型最弱的 75% 激活,准确率仅从 72% 降到 71%,约 1/10 答案变化;移除激活总量相同的最强 7%,准确率从 72% 暴跌到 4%,96/100 答案改变。损失最大的位置也最易理解:语言模型是最后一层,视觉模型是浅层。讨论者指出「弱激活不重要」实质等价于「叠加态不是大问题」,并称原文方法论细节交代不足。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。