热点事件持续更新
8090 Labs:换 harness 编码成绩差 35 分
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月13日,AGI Hunt 报道了 8090 Labs 的一项实测结果:在 Datacurve DeepSWE v1.1 的 113 个真实开源编码任务上,8090 Labs 选取 7 个模型与 5 个 harness 进行组合,每种组合各跑两次。结果显示,在模型和推理设置保持固定的情况下,仅更换 harness,编码成绩可摆动 35 个百分点。报道据此指出,harness 的选择对编码评测结果影响显著,同一个模型的成绩会因配套 harness 不同而出现明显差异。此前该事件的标题表述为“换 harness 编码成绩差 35 分”,本次报道将其更明确地表述为 35 个百分点。截至该报道,尚未见到其他机构对同一实验的复现结果。
AI 根据报道生成 · 1 小时前更新
最新进展10月13日 01:58
8090 Labs 实测:固定模型只换 harness,编码成绩可摆动 35 个百分点。报道时间线
沿着报道,了解事件的不同侧面。
10月13日
- AGI Hunt精选8090 Labs 实测 7 模型×5 harness:固定模型只换 harness,编码成绩可差 35 分
8090 Labs 在 Datacurve DeepSWE v1.1 的 113 个真实开源编码任务上,用 7 个模型×5 个 harness 各跑两次,发现固定模型和推理设置只换 harness,成绩可摆动 35 个百分点。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。