arXiv cs.CL· Tianyu Chen, Xinyang Liu, Ruyi An, Zhendong Wang, Mingyuan Zhou·· 3 小时前AI 评分47
System1-Arena：哪些决策可以交给 System 1？
System1-Arena: Which Decisions Can Be Left to System 1?
AI 导读
System1-Arena 基准用 92k 问题与 138 个闭环环境，比较 System-1 模型和生成式推理模型能处理哪些决策。30 个模型中，最大 System-1 模型在非智能体准确率上追平或超过快速闭源 LLM，延迟仅四分之一；推理 LLM 最准，成本约 70 倍。闭环环境里大型开源 LLM 成功率最高（至多 32.9%），小型 System-1 模型很少成功。
来源：arXiv cs.CL · arxiv.org