arXiv cs.CV· Oliver Wei{\ss}l, Eduardo Breitembach, Andrea Stocco·· 3 小时前AI 评分36
MoST：基于搜索的视觉语言模型模态敏感性测试
Search-Based Testing of Modality Sensitivity in Vision Language Models
AI 导读
研究者提出 MoST 黑盒测试框架，通过对比纯图像、纯文本与联合扰动来刻画视觉语言模型的模态敏感性。在 ImageNet 与驾驶图像的目标定位任务上测试四个 VLM，部分模型主要受文本扰动影响，另一些则两种模态都脆弱；联合扰动以更小改动即可匹敌或超过单模态扰动。人类评估中 60-76% 的判断认为扰动输入仍足以完成任务，且人类定位比对应 VLM 更准确。
来源：arXiv cs.CV · arxiv.org