跳到正文
原文
AGI Hunt· QuixiAI·· 2 小时前AI 评分40

Anthropic 开源 jacobian-lens:把内部激活线性映射为可读 token

Anthropic 开源 jacobian-lens:把内部激活线性映射为可读 token

AI 导读

Anthropic 开源论文配套代码 jacobian-lens,已获约 2k star。Jacobian lens 把任意层、任意位置的残差流向量线性传输到末层基,再用模型自身 unembedding 解码为排序的词表 token,读出内部激活「倾向于让模型说什么」。

来源:AGI Hunt · agihunt.info