AGI Hunt· jd_tindall·· 3 小时前AI 评分44
可解释性研究:删掉最弱 75% 激活几乎无损,删最强 7% 准确率从 72% 跌到 4%
删掉最弱75%激活几乎无损,删最强7%准确率从72%跌到4%
AI 导读
可解释性研究的消融实验显示,移除模型最弱的 75% 激活,准确率仅从 72% 降到 71%,约 1/10 答案变化;移除激活总量相同的最强 7%,准确率从 72% 暴跌到 4%,96/100 答案改变。损失最大的位置也最易理解:语言模型是最后一层,视觉模型是浅层。讨论者指出「弱激活不重要」实质等价于「叠加态不是大问题」,并称原文方法论细节交代不足。
来源:AGI Hunt · agihunt.info