arXiv cs.AI· Jing Ding, Ziqiao Ma, Jiayuan Mao, Joyce Chai, Freda Shi·· 4 小时前AI 评分36
Vision Transformers 中抽象概念接地的转喻回路
Metonymic Circuits for Abstract Concept Grounding in Vision Transformers
AI 导读
CLIP 和 DINO 视觉编码器中被发现存在转喻回路:对 angry 等抽象概念的识别,可由 fire 等具体、可解释的锚点概念驱动。研究者用 Transcoders 恢复可关联具体概念标签的中间特征,并追踪其在抽象概念识别回路中的贡献;在 icon 数据集上,感知原语主导早期层、类物体锚点先于抽象目标,含渲染文本图像走感知到文本路径。因果干预验证这些中间特征参与抽象概念接地。
来源:arXiv cs.AI · arxiv.org