arXiv cs.CV· Bang Xiao, Wenqi Jia, Ozgur Kara, Tiancheng Shen, Yibo Yang, Bolin Lai, Junho Kim, James Matthew Rehg·· 4 小时前AI 评分34
LeRF:为视角转换推理学习参考坐标系
LeRF: Learning Reference Coordinate Frames for Perspective Taking Reasoning
AI 导读
LeRF 框架让 VLM 学会构建并使用显式参考坐标系做视角转换推理。模型先判断是否需要坐标系,再定位参考实体并预测坐标系原点与以实体为中心的参考坐标系,由轻量渲染器叠加到图像上,无需外部感知模型或显式 3D 重建。训练先监督微调、再用空间 VQA 数据强化学习,在多个视角转换 benchmark 上优于骨干模型,坐标系定位与朝向估计亦有提升。
来源:arXiv cs.CV · arxiv.org