AGI Hunt· burny_tech·· 4 小时前AI 评分25
研究者构想用 Anthropic 归因图统计跨提示电路激活概率
研究者构想用归因图统计跨提示电路激活概率
AI 导读
burny_tech 提出一个可解释性研究方向:用 Anthropic 的归因图统计由泛化形成的常用电路在不同提示族中被激活的概率,以此预测模型输出某些行为的可能性。该思路还可推广到其他 interp 技术和神经元层面,例如 grokking 模加玩具模型中的三角函数算法——后者属于跨输入的精确算法,而非概率预测。
来源:AGI Hunt · agihunt.info