AGI Hunt· QuixiAI·· 2 小时前AI 评分40
Anthropic 开源 jacobian-lens:把内部激活线性映射为可读 token
Anthropic 开源 jacobian-lens:把内部激活线性映射为可读 token
AI 导读
Anthropic 开源论文配套代码 jacobian-lens,已获约 2k star。Jacobian lens 把任意层、任意位置的残差流向量线性传输到末层基,再用模型自身 unembedding 解码为排序的词表 token,读出内部激活「倾向于让模型说什么」。
来源:AGI Hunt · agihunt.info