跳到正文
原文
AGI Hunt· johnhewtt·· 3 小时前AI 评分29

johnhewtt 博客:可解释性研究该分清形式与估计器,均值差转向不如直接梯度下降

可解释性研究该分清形式与估计器:均值差转向不如直接梯度下降

AI 导读

johnhewtt 在博客中指出,可解释性研究应区分形式(如 steering、神经元分析)与估计器(如均值差、在 log-loss 上做 SGD),均值差只是构造转向向量的估计器之一,并非方法本身。当可以用梯度下降直接学习时通常应直接用,均值差转向在许多场景下是次优选择。

来源:AGI Hunt · agihunt.info