AGI Hunt· HildeKuehne·· 3 小时前AI 评分46
Meta-Video 论文:视频理解评测藏黑箱,同一模型仅改参数成绩差近 20 分
视频理解评测藏黑箱:同一模型仅改参数成绩差近20分
AI 导读
Hilde Kuehne 团队发布 Meta-Video 论文,指出视频理解基准评测被当黑箱使用:固定模型权重与数据集,仅改动帧采样、预处理、prompt 格式、推理后端、batch size、解码器、分辨率等 9 个评测参数,同一模型成绩即偏移 19.5 个百分点。研究核查 20 多篇论文,并已公开代码与数据。
来源:AGI Hunt · agihunt.info