arXiv cs.CV· Zeyuan Yang, Zhuohao Chen, Jiaben Chen, Yao Zhang, Maohao Shen, Chuang Gan·· 3 小时前AI 评分43
感知还是推理？诊断并解决 VLM 强化学习瓶颈的 PARA 与 GRAD
Perception or Reasoning? Diagnosing and Tackling Reinforcement Learning Bottlenecks in VLMs
AI 导读
研究提出 PARA，通过对比更准确的视觉信息与更强的推理器能挽回多少错误，量化每个模型-基准对的感知与推理剩余空间。在 4 个 VLM、17 个多模态基准上，强化学习增益随感知空间增大而减小、随推理空间增大而增大。GRAD 用组内最佳 rollout 引导较弱 rollout 的视觉注意力，在 2 个模型规模和 7 个基准上稳定提升。
来源：arXiv cs.CV · arxiv.org