跳到正文
原文
AGI Hunt· SciAILab·· 4 小时前AI 评分44

OSWorld-Science 基准发布:146 个任务考问 VLM 科学软件操作

AI 导读

OSWorld-Science 基准发布,含 146 个面向计算机使用智能体(VLM)的科学软件任务,覆盖分子绘制与逆合成、病理图像分析、统计计算、物理仿真等工作流,并配有任务级执行式评估器,支持部分得分。团队用专用 harness 评测了 12 个 VLM,结论是即使配合强 harness,当前最先进 VLM 在科学关键任务上仍表现不佳。论文还分析了多语言、推理力度与上下文长度的影响。

来源:AGI Hunt · agihunt.info