跳到正文
原文
AGI Hunt· CUHK-CSE·· 4 小时前AI 评分40

港中文等发布 RoboJudge-Bench:800 段人工标注视频评估多模态模型裁判能力

港中文等发布 RoboJudge 基准:800 段人工标注视频评估多模态模型裁判能力

AI 导读

港中文、UCSD、东北大学、浙大等推出 RoboJudge-Bench,用800段人工标注视频评估多模态大语言模型作为具身视频生成裁判的可靠性。基准覆盖物理一致性与指令对齐两个维度,视频来自8个源数据集、10个生成器,涉及夹爪、人手、灵巧手。实验发现通用 MLLM 物理一致性判断与人类对齐较低,专用视频裁判模型更好;基于该基准微调出 9B 的 RoboJudge 裁判模型,与人类判断高度一致。

来源:AGI Hunt · agihunt.info