arXiv cs.CV· Marco Stefani, Edoardo Parpaiola, Matteo Bino, Gianluca Caregnato, Francesco Roncolato, Daniel Fusaro, Loris Nanni, Alberto Pretto·· 3 小时前AI 评分36
弥合人类与模型注意力:用眼动验证 CNN、Mamba 与 ViT 架构的可解释性分析
Bridging Human and Model Attention: Explainability Analysis of CNN, Mamba, and ViT Architectures with Gaze-Based Validation
AI 导读
研究以眼动追踪数据为基准,量化 CNN、ViT 与 Vision Mamba(ViM)的注意力与人类视觉感知的对齐度,覆盖细粒度分类、医学影像与情绪识别任务。结果显示 CNN 更偏全局、显著性图与人类感知相关性好,ViT 呈 patch 级细粒度注意力,Mamba 在医学任务可解释性强但在自然图像上强度分布出现分歧。研究还考察了 backbone 冻结与集成策略对可解释性的影响。
来源:arXiv cs.CV · arxiv.org