跳到正文
原文
AGI Hunt· thoma_gu·· 5 小时前AI 评分56

Jiatao Gu 团队发布视频理解元基准 Video-Index,含 840 道验证难题

视频基准大多可被捷径攻破,新基准 Video-Index 840 题实测模型

AI 导读

Jiatao Gu 团队发布视频理解元基准 Video-Index,论文、代码与数据集已开源。团队提出 attack pyramid 五级捷径攻击,审计 115 个视频基准、505K 道题,发现 35 个基准中完全不看视频帧的攻击者即可接近全视频准确率,51 个含时序探测的基准打乱帧序仍保持中位数 96% 准确率,63 个基准中近半以上是近重复题。

来源:AGI Hunt · agihunt.info