arXiv cs.CV· Aditya Sharma, Divya Saxena·· 5 小时前AI 评分40
同一几何，不同结果：CLIP 与 SigLIP 中模态间隙的读出依赖效应
One Geometry, Different Outcomes: Readout-Dependent Effects of the Modality Gap in Vision-Language Models
AI 导读
在 CLIP 与 SigLIP 编码器中，单一主方向承载图文均值分离平方范数的 94.4-99.9%，说明该分离分量近似秩一。分解相似度分数后，间隙在零样本分类中相当于加性类别偏置，在标准跨模态检索中投影掉间隙方向会丢弃候选特定范数信息、造成乘性排序扭曲。几何推导出的指数与网格搜索最优值 Spearman rho = 0.93，可在部分设置下恢复性能，但增益转移不均。
来源：arXiv cs.CV · arxiv.org