热点事件持续更新
Meta-Video 论文:视频评测参数致成绩波动近20分
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Hilde Kuehne 团队发布 Meta-Video 论文,指出视频理解基准评测长期被当作黑箱使用:在固定模型权重与数据集的前提下,仅改动帧采样、预处理、prompt 格式、推理后端、batch size、解码器、分辨率等 9 个评测参数,同一模型的成绩即偏移 19.5 个百分点。早先报道称该波动“近 20 分”,后续报道给出了更精确的数值 19.5 个百分点,两者一致。研究还核查了 20 多篇论文,并已公开代码与数据。AGI Hunt 于 2026 年 10 月 15 日报道了论文中的上述细节。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 15:13
报道披露论文细节:固定权重下仅改9项评测参数,成绩偏移19.5个百分点,代码数据已公开。报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- AGI HuntMeta-Video 论文:视频理解评测藏黑箱,同一模型仅改参数成绩差近 20 分
Hilde Kuehne 团队发布 Meta-Video 论文,指出视频理解基准评测被当黑箱使用:固定模型权重与数据集,仅改动帧采样、预处理、prompt 格式、推理后端、batch size、解码器、分辨率等 9 个评测参数,同一模型成绩即偏移 19.5 个百分点。研究核查 20 多篇论文,并已公开代码与数据。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。