AGI Hunt· arjunrajlab·· 4 小时前AI 评分26
研究者提议用稀疏自编码器(SAE)检测训练数据对模型权重的影响
研究者提议用稀疏自编码器检测训练数据对模型权重的影响
AI 导读
研究者提出一项可解释性设想:若足够大的稀疏自编码器(SAE)能从模型中分辨出与某人姓名及相关工作关联的网络结构,即可视为该人对模型权重的影响可被观测。该思路由 onlygabey 提出、arjunrajlab 转发认可,目前仍处早期猜想阶段,但为追溯训练数据在权重中的印记提供了可检验的方向。
来源:AGI Hunt · agihunt.info