热点事件持续更新
波士顿大学HNC方法揭示ViT表征冗余
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
波士顿大学研究者 Ann Huang 提出 Hessian Null Space Continuation(HNC)方法,用于研究训练后神经网络周围的表征多样性。2026 年 10 月 15 日 AGI Hunt 报道,该方法在不改变模型预测输出的前提下,仅移动 ViT 权重 1.3%,其内部表征就与原始模型出现巨大差异,表征已面目全非。这一差异甚至超过随机初始化的 ViT。报道称,这说明在“预测不变”的方向上存在大量冗余自由度。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 01:19
HNC 显示 ViT 权重仅移动 1.3%,内部表征即大幅改变,差异超随机初始化模型。报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- AGI Hunt移动权重仅 1.3%,ViT 表征已面目全非:新方法 HNC 揭示网络内部冗余
Boston University 研究者 Ann Huang 提出 Hessian Null Space Continuation(HNC)方法,研究训练后神经网络周围的表征多样性。在不改变模型预测输出的前提下,ViT 权重仅移动 1.3%,其内部表征就与原始模型差异巨大。该差异甚至超过随机初始化的 ViT,说明"预测不变"方向上存在大量冗余自由度。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。