AGI Hunt· OpenSAE·· 3 小时前AI 评分39
OpenSAE 新研究:稀疏自编码器特征仅部分可组合,需交互项才能准确预测
新研究:稀疏自编码器特征仅部分可组合,需交互项才能准确预测
AI 导读
OpenSAE 发布论文研究 SAE 特征的行为可组合性:用「联盟干预」方法冻结模型后逐个开关 SAE 特征,测量其对目标 logit 的贡献。结果显示特征仅部分可加,部分场景接近一阶叠加(SAR₁ 低至 0.02),也存在明显交互效应(SAR₁=0.40)。仅用单个特征的独立效应无法准确预测模型行为,需引入成对交互项才能做好行为预测与 steering。
来源:AGI Hunt · agihunt.info