跳到正文
原文
AGI Hunt· pstAsiatech·· 2 小时前精选AI 评分65

8090 Labs 实测 7 模型×5 harness:固定模型只换 harness,编码成绩可差 35 分

换框架不换模型,编码成绩可差35分:8090实验室实测7模型×5 harness

AI 导读

8090 Labs 在 Datacurve DeepSWE v1.1 的 113 个真实开源编码任务上,用 7 个模型×5 个 harness 各跑两次,发现固定模型和推理设置只换 harness,成绩可摆动 35 个百分点。

推荐理由

同一模型只换 harness 成绩可摆 35 个百分点,为编码智能体选型提供了模型榜单之外的对照维度。

来源:AGI Hunt · agihunt.info