arXiv cs.CV· Juntong Li, Lingwei Dang, Haomin Wu, Ziyan Qiu, Qingxin Xiao, Qingyao Wu·· 4 小时前AI 评分34
SALM：用结构感知潜在掩码建模解锁 CLIP 的细粒度感知
Unlocking Fine-Grained Perception in CLIP via Structurally-Aware Latent Masked Modeling
AI 导读
论文提出 SALM，一个无需图像-文本对的无监督嵌入对齐框架，用于提升 CLIP 的细粒度感知能力。它用双矩阵对齐策略校准样本内空间相关性与激活强度以注入局部几何先验，并以潜在掩码建模引导 CLIP 恢复缺失语义细节，还基于 CLIP 浅层特征的空间观测能力扩展出自蒸馏版本 SALM-Self。
来源：arXiv cs.CV · arxiv.org