跳到正文
原文
AGI Hunt· CatAstro_Piyush·· 3 小时前AI 评分41

Goodfire 发布 VPD 方法:把语言模型参数分解成可解释子组件

AI 导读

Goodfire 发布《Interpreting Language Model Parameters》研究,提出对抗性参数分解方法 VPD,把语言模型参数拆成多个子组件,每个只实现模型所学算法的一小部分。分解通过优化获得,要求在大量消融(含对抗性选择的破坏性消融)下仍保持输入输出行为,从而得到简短且机制忠实的描述,少量子组件即可解释任意输入下的行为。该工作补上了机械可解释性在参数层的空白。

来源:AGI Hunt · agihunt.info