跳到正文
原文
arXiv cs.AI· Jing Ding, Ziqiao Ma, Jiayuan Mao, Joyce Chai, Freda Shi·· 4 小时前AI 评分36

Vision Transformers 中抽象概念接地的转喻回路

Metonymic Circuits for Abstract Concept Grounding in Vision Transformers

AI 导读

CLIP 和 DINO 视觉编码器中被发现存在转喻回路:对 angry 等抽象概念的识别,可由 fire 等具体、可解释的锚点概念驱动。研究者用 Transcoders 恢复可关联具体概念标签的中间特征,并追踪其在抽象概念识别回路中的贡献;在 icon 数据集上,感知原语主导早期层、类物体锚点先于抽象目标,含渲染文本图像走感知到文本路径。因果干预验证这些中间特征参与抽象概念接地。

来源:arXiv cs.AI · arxiv.org