arXiv cs.CL· Sugam Karki, Ra\'ul V\'azquez, Yova Kementchedjhieva·· 3 小时前AI 评分35
层间阅读:视觉 Transformer 的跨模态对齐与表征层级
Reading Between the Layers: Cross-Modal Alignment and Representational Hierarchy in Vision Transformers
AI 导读
研究系统分析了大型视觉语言模型中基于 Transformer 的视觉编码器,发现文本与视觉概念的强跨模态映射只在最深层出现,且晚于单模态的物体与文本识别。该层级在对比训练模型中最为明显,更大的自监督模型与文本丰富的训练数据也能在无显式语言监督下部分复现类似行为。论文已被 AACL 2026 Findings 接收。
来源:arXiv cs.CL · arxiv.org