AGI Hunt· najoungkim·· 4 小时前AI 评分38
移动权重仅 1.3%,ViT 表征已面目全非:新方法 HNC 揭示网络内部冗余
移动权重仅1.3%,ViT表征已面目全非:新方法HNC揭示网络内部冗余
AI 导读
Boston University 研究者 Ann Huang 提出 Hessian Null Space Continuation(HNC)方法,研究训练后神经网络周围的表征多样性。在不改变模型预测输出的前提下,ViT 权重仅移动 1.3%,其内部表征就与原始模型差异巨大。该差异甚至超过随机初始化的 ViT,说明"预测不变"方向上存在大量冗余自由度。
来源:AGI Hunt · agihunt.info