AGI Hunt· inductionheads·· 3 小时前AI 评分33
Nick Cammarata 提出不剪枝的多分辨率归因图方案回应 Neel Nanda
AI 导读
Nick Cammarata 回应 Neel Nanda 对神经元归因图(attribution graphs)的批评,主张无需剪枝:神经元天然聚簇,可用智能体式方法做多分辨率分析,按重要性和意外程度调整粒度,多数时候误差可接受,关键处几乎无误差。他认为「该关注什么」加可变分辨率能大幅缓解扩展成本,但不确定是否有人测过前沿模型规模下的表现;弱激活意外地可用 ablation 处理,细节待后续公布。
来源:AGI Hunt · agihunt.info