跳到正文
原文
AGI Hunt· Lianhuiq·· 7 小时前AI 评分47

SimWorld 团队发布 RT-SAFE 基准:8 个前沿 VLM 任务成功率 94%,安全通过率仅 0.7%

RT-SAFE 基准发布:前沿 VLM 任务成功率高但安全通过率仅 0.7%

AI 导读

SimWorld 团队发布实时安全基准 RT-SAFE,主张安全评测须在「世界持续运动」的真实条件下进行,该基准基于 Unreal Engine 渲染的动态纽约城市场景,要求具身智能体实时应对变化环境。测试显示 8 个前沿 VLM 任务成功率达 91.3% 至 94%,94.1% 能到达目标。但全程无安全事件的通过率仅 0.7%,凸显具身智能在能力与安全之间的巨大落差。

来源:AGI Hunt · agihunt.info