arXiv cs.CV· Emanuel Ben Baruch, Sivan Biham, Alon Shoshan, Yochai Zvik, Avi Ben-Cohen·· 4 小时前AI 评分44
跨提示词推理缓解不平衡 VLM 微调中的稀有类抑制
Cross-Prompt Inference Mitigates Rare-Class Suppression in Imbalanced VLM Finetuning
AI 导读
在类别不平衡数据上微调 VLM 时，推理改用与微调不同的描述性提示词（cross-prompt inference），可在六个数据集、多种 VLM 上稳定恢复稀有类召回率。该效应来自训练-评估提示词交互，非描述性提示词改动不会触发，仅在失衡与视觉混淆造成明显稀有类抑制时最强。TuCo 分解显示它降低了对微调引入计算的依赖。
来源：arXiv cs.CV · arxiv.org