跳到正文
原文
AGI Hunt· Jiafu Tang·· 2 小时前AI 评分40

CodeCap-Bench:用可执行代码做视频描述,推理与重建更准

CodeCap-Bench:用可执行代码做视频描述,推理与重建更准

AI 导读

南大、Kling AI 等机构提出 Code as Video Caption 范式与 CodeCap-Bench(323 个视频),用图形基元、布局规则与时间函数构成的可执行程序表示视频内容,替代自然语言描述。下游问答与视频重建对比显示,代码描述在推理准确率与重建保真度上优于自然语言描述。但当前多模态大模型仍难以对复杂时间动态生成忠实的代码描述,是该范式落地的瓶颈。

来源:AGI Hunt · agihunt.info