HandsOn 灵巧操作基准发布,GPT-6 Astra 零微调成功率 5.2%
先了解这件事
2026年10月27日,AGI Hunt 报道 HandsOn 团队发布灵巧操作仿真平台与基准 HandsOn,包含 66 个人工核验任务(Core-50 测执行、Transfer-16 测零演示迁移)与 1.8 万条精选人类示范,用于度量以 Natura-1 为代表的通用灵巧操作模型进展。同日报道,团队通过 moveeef 接口对 GPT-6 Astra 进行零微调、不使用演示数据的评测:Core-50 任务 500 次试验成功 26 次,成功率 5.2%;Transfer-16 任务 160 次试验成功 3 次,成功率 1.9%。660 次试验的动作记录显示模型具备任务感知的规划能力,但整体成功率远低于经过训练的策略。基准方面,最佳多任务 checkpoint OpenWAM 在 Core-50 上宏平均成功率仅 29.1%,工具使用成功率低至 2.9%。
AI 根据报道生成 · 1 小时前更新
事件进展
- 10月27日 01:00 · 1 篇报道GPT-6 Astra零微调灵巧手成功率5.2%AGI Hunt:GPT-6 Astra 零微调操控灵巧手:500 次试验仅成功 26 次,成功率 5.2%
- 10月27日 01:00 · 1 篇报道灵巧操作基准HandsOn发布,最强策略成功率仅29.1%AGI Hunt:灵巧操作基准 HandsOn 发布:最强策略成功率仅 29.1%
报道时间线
沿着报道,了解事件的不同侧面。
- AGI HuntGPT-6 Astra 零微调操控灵巧手:500 次试验仅成功 26 次,成功率 5.2%
HandsOn 团队用 moveeef 接口评测 GPT-6 Astra,在零微调、不用演示数据设定下,Core-50 任务 500 次试验仅成功 26 次,成功率 5.2%。Transfer-16 任务 160 次试验仅成功 3 次,成功率 1.9%;660 次试验的动作记录显示模型具备任务感知的规划能力,但整体成功率远低于训练过的策略。
- AGI Hunt灵巧操作基准 HandsOn 发布:最强策略成功率仅 29.1%
团队发布灵巧操作仿真平台与基准 HandsOn,包含 66 个人工核验任务(Core-50 测执行、Transfer-16 测零演示迁移)与 1.8 万条精选人类示范。评测中最佳多任务 checkpoint OpenWAM 在 Core-50 上宏平均成功率仅 29.1%,工具使用成功率低至 2.9%。该基准用于度量以 Natura-1 为代表的通用灵巧操作模型进展。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。