arXiv cs.AI· Tianyu Yang, Yijun Tian, Lars Benedikt Kaesberg, Jan Philip Wahle, Bela Gipp, Terry Ruas, Daniel Kurzawe·· 2 小时前AI 评分34
超越事后奖励：PILOT 框架为多模态嵌入探索推理路径
Beyond Post-Hoc Rewards: Privileged Reasoning Exploration for Multimodal Embeddings
AI 导读
PILOT 框架把推理建模为隐变量，用同一个 MLLM 的先验与后验两种推理模式引导多模态嵌入的推理探索，后验借助训练时的关系证据拓展探索范围。在 78 任务的 MMEB-V2 基准上，PILOT 在 2B 和 7B 参数下均于全部 12 个任务组超过主基线，总分分别提升 3.2 和 3.3 分。视觉文档检索涨幅最大，分别提升 6.1 和 6.4 分。
来源：arXiv cs.AI · arxiv.org