研究提出模型-Harness交互评测框架

2026年10月26日，arXiv cs.AI 刊登的一项研究提出从模型与执行框架（Harness）的交互入手评测 LLM 智能体，试图回答“智能体失败该归咎于模型还是 Harness”。研究采用有效完成率（VCR）、模型-Harness 契合度等五项指标，覆盖 52,168 条轨迹，对 OpenCode、Codex CLI、Pi CLI、DeepAgents 四个 Harness 与四个核心模型的组合进行评测。结果显示，Harness 的排名会随所用模型和 benchmark 而变化，并不存在固定的优劣次序；OpenCode 在跨模型比较中性能居首。研究据此指出，评测应关注模型与 Harness 的搭配效果，而非对单一方单独排序。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。