跳到正文
热点事件持续更新

8090 Labs:换 harness 编码成绩差 35 分

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月13日,AGI Hunt 报道了 8090 Labs 的一项实测结果:在 Datacurve DeepSWE v1.1 的 113 个真实开源编码任务上,8090 Labs 选取 7 个模型与 5 个 harness 进行组合,每种组合各跑两次。结果显示,在模型和推理设置保持固定的情况下,仅更换 harness,编码成绩可摆动 35 个百分点。报道据此指出,harness 的选择对编码评测结果影响显著,同一个模型的成绩会因配套 harness 不同而出现明显差异。此前该事件的标题表述为“换 harness 编码成绩差 35 分”,本次报道将其更明确地表述为 35 个百分点。截至该报道,尚未见到其他机构对同一实验的复现结果。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月13日
  1. AGI Hunt精选
    8090 Labs 实测 7 模型×5 harness:固定模型只换 harness,编码成绩可差 35 分

    8090 Labs 在 Datacurve DeepSWE v1.1 的 113 个真实开源编码任务上,用 7 个模型×5 个 harness 各跑两次,发现固定模型和推理设置只换 harness,成绩可摆动 35 个百分点。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。