跳到正文
原文
AGI Hunt· Sauers_·· 3 小时前AI 评分26

可视化展示基础模型内部电路追踪的注意力与 MLP 结构

AI 导读

一张对基础模型做电路追踪(circuit tracing)的可视化图,按 L0–L3 层级呈现各 token 间 attention 与 MLP 组件的贡献。该图以「…structure involved the creation of」为例,节点与连接的粗细对应消融时的比特影响量。

来源:AGI Hunt · agihunt.info