AGI Hunt· pstAsiatech·· 2 小时前精选AI 评分65
8090 Labs 实测 7 模型×5 harness:固定模型只换 harness,编码成绩可差 35 分
换框架不换模型,编码成绩可差35分:8090实验室实测7模型×5 harness
AI 导读
8090 Labs 在 Datacurve DeepSWE v1.1 的 113 个真实开源编码任务上,用 7 个模型×5 个 harness 各跑两次,发现固定模型和推理设置只换 harness,成绩可摆动 35 个百分点。
推荐理由
同一模型只换 harness 成绩可摆 35 个百分点,为编码智能体选型提供了模型榜单之外的对照维度。
来源:AGI Hunt · agihunt.info