AGI Hunt· NoizAI·· 12 小时前AI 评分49
HelixWorld:单 GPU 实时 24FPS 的音视频同步交互世界模型
HelixWorld:单GPU实时24FPS的音视频同步交互世界模型
AI 导读
NoizAI 发布 HelixWorld,称其为首个实时交互式音视频世界模型,视觉场景与基于相机的空间立体声在用户交互下原生协同演化。该模型以 6-DoF 相机轨迹和用户动作为条件训练双向教师模型,再通过在线轨迹蒸馏得到少步流式学生,在单 GPU 上实现 24 FPS 无漂移音视频联合生成。同时提出空间-声学一致性形式化与 HelixBench 评测,空间声学沉浸感显著超越基线。
来源:AGI Hunt · agihunt.info