跳到正文
热点事件持续更新

System1-Arena 决策基准发布

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026 年 10 月 16 日,arXiv cs.CL 发布 System1-Arena 决策基准,用于考察哪些决策可以交给 System 1 处理。该基准包含 92k 个问题与 138 个闭环环境,对比 System-1 模型与生成式推理模型。在 30 个被测模型中,最大的 System-1 模型在非智能体准确率上追平或超过快速闭源 LLM,延迟仅为后者的四分之一;推理 LLM 准确率最高,但成本约为前者的 70 倍。在闭环环境中,大型开源 LLM 成功率最高,至多 32.9%,小型 System-1 模型则很少成功。报道未提及该基准的后续更新或版本变化。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. arXiv cs.CL
    System1-Arena:哪些决策可以交给 System 1?

    System1-Arena 基准用 92k 问题与 138 个闭环环境,比较 System-1 模型和生成式推理模型能处理哪些决策。30 个模型中,最大 System-1 模型在非智能体准确率上追平或超过快速闭源 LLM,延迟仅四分之一;推理 LLM 最准,成本约 70 倍。闭环环境里大型开源 LLM 成功率最高(至多 32.9%),小型 System-1 模型很少成功。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。