跳到正文
热点事件持续更新

Meta-Video 论文:视频评测参数致成绩波动近20分

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Hilde Kuehne 团队发布 Meta-Video 论文,指出视频理解基准评测长期被当作黑箱使用:在固定模型权重与数据集的前提下,仅改动帧采样、预处理、prompt 格式、推理后端、batch size、解码器、分辨率等 9 个评测参数,同一模型的成绩即偏移 19.5 个百分点。早先报道称该波动“近 20 分”,后续报道给出了更精确的数值 19.5 个百分点,两者一致。研究还核查了 20 多篇论文,并已公开代码与数据。AGI Hunt 于 2026 年 10 月 15 日报道了论文中的上述细节。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. AGI Hunt
    Meta-Video 论文:视频理解评测藏黑箱,同一模型仅改参数成绩差近 20 分

    Hilde Kuehne 团队发布 Meta-Video 论文,指出视频理解基准评测被当黑箱使用:固定模型权重与数据集,仅改动帧采样、预处理、prompt 格式、推理后端、batch size、解码器、分辨率等 9 个评测参数,同一模型成绩即偏移 19.5 个百分点。研究核查 20 多篇论文,并已公开代码与数据。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。