跳到正文
原文
arXiv cs.CV· Dheeraj Varghese, Anna Vettoruzzo, Walter Simoncini, Michelle Lorena Acevedo Callejas, Mohammad Mahdi Derakhshani, Kristof Meding, Joaquin Vanschoren, Cees G. M. Snoek·· 4 小时前AI 评分39

PlaySuite:面向交互式视觉智能的大规模基准

PlaySuite: A Large-Scale Benchmark for Interactive Visual Intelligence

AI 导读

PlaySuite 是覆盖 5K+ 款开源视频游戏的交互式视觉智能大规模基准,涵盖 Pygame、HTML5、Godot、Unity 等引擎。团队用统一闭环交互框架与 Video-LLM-as-a-judge 评估 14 个近期开源模型,发现明显的感知-行动鸿沟:模型推理虽强,却在空间定位、动作执行与自我纠错上反复失败,难以持续取得进展。

来源:arXiv cs.CV · arxiv.org