AGI Hunt· liuzhuang1234·· 3 小时前AI 评分46
OccludeBench:遮挡线索让 VLM 成绩直降 20%
OccludeBench:遮挡线索让 VLM 成绩直降 20%
AI 导读
JasinCekinmez 与 Zhuang Liu 等发布 OccludeBench,用黑方块遮挡图片局部来测试 VLM 的物理线索推理。结果仅约 1/5 的 VLM 能答对依赖物理线索的题目(如镜面反射、烟雾来源),而依赖更广泛上下文的题目通过率 100%。VLM 利用物理线索比利用广义上下文差约 20%,暴露其在物理理解上的系统性短板。
来源:AGI Hunt · agihunt.info