arXiv cs.CV· Beth Pearson, Michael Wray, Martha Lewis·· 3 小时前AI 评分39
用物体注意力探究视觉语言模型的否定理解
Probing Negation Understanding in Vision-Language Models With Object Attention
AI 导读
通过对比人类眼动注视与模型注意力，对视觉语言模型否定理解的分析发现，模型解析否定时通常不遵循类人注意力模式，暗示其依赖注意力之外的机制。逐层分析显示 PaliGemma2-3B 在否定下会把物体注意力转向替代项，但 headwise 消融表明这只是副产品而非否定处理机制；LLaVA-1.5-7B 则表现出对左侧物体的空间偏向。下游任务评估中，所有模型在肯定与否定问题上均存在性能差距。
来源：arXiv cs.CV · arxiv.org