arXiv cs.AI· Shao Zhang, Hangfan Zhang, Yuanyuan Shi, Hao Li, Min-Le Su, Kangcong Li, Jingping Wang, Chunjiang Mu, Chen Zhang, Yang Chen, Bo Zhang, Shuyue Hu·· 3 小时前AI 评分46
LLM 智能体失败时该怪谁：模型还是 Harness？
When Agents Fail: Model or Harness--Who's to Blame?
AI 导读
研究用有效完成率（VCR）、模型-Harness 契合度等五项指标评估 LLM 智能体中 harness 与模型的交互，覆盖 52,168 条轨迹。对 OpenCode、Codex CLI、Pi CLI、DeepAgents 与四个核心模型的评测显示，harness 排名随模型和 benchmark 变化，OpenCode 跨模型性能居首。
来源：arXiv cs.AI · arxiv.org