arXiv cs.AI· George Juraj Salapa·· 2 小时前AI 评分48
kw-bench：用真实世界任务击破前沿智能体 harness
kw-bench: Breaking Frontier Harnesses on Real-World Tasks
AI 导读
研究团队推出 kw-bench 基准，首个任务族是跨三代 SAP 的五年增值税重建，用来检验编码智能体 harness，评分确定性、不用 LLM judge。同一 DeepSeek v4.1 Flash 模型跑两小时，OpenCode 与 micro-cc 得 0.542 和 0.528，Claude Code 与 Codex 均为 0.00。
来源：arXiv cs.AI · arxiv.org