跳到正文
热点事件持续更新

中科院发布 RuleTrek 规则推理基准

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026年10月15日,中科院自动化所等团队发布 RuleTrek,一个面向复杂场景的多领域 agentic 规则推理基准,代码与数据集已开源。据 AGI Hunt 报道,该基准的做法是从规则文档中抽取结构化规则图,并在交互式工作区中评测三项能力:规则识别(RI)、规则推演(RD)与端到端规则推理(E2E)。团队对 11 个前沿 LLM 进行了测试,结果显示 RI 最高分仅 62.47%,RD 最高分仅 60.43%,E2E 得分区间为 26.97%–55.29%。报道称这反映出当前前沿模型在复杂规则的识别与推演上仍有明显短板,端到端完成规则推理任务的表现尤弱。目前该基准已开源,事件仍处于发布初期,尚无后续复现或榜单更新等进展。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. AGI Hunt
    RuleTrek 基准:11 个前沿 LLM 规则推理最高得分仅六成

    中科院自动化所等团队发布 RuleTrek,一个面向复杂场景的多领域 agentic 规则推理基准,代码与数据集已开源。该基准从规则文档抽取结构化规则图,在交互式工作区中评测规则识别(RI)、规则推演(RD)与端到端规则推理(E2E)三项能力。11 个前沿 LLM 中,RI 与 RD 最高分仅 62.47% 和 60.43%,E2E 得分在 26.97%–55.29% 之间。

本事件热度走势

当前热度 9·可比范围峰值 10(10月15日 17:00)·近 24 小时可比范围变化 –

02.557.51010月15日17:0010月15日18:0010月15日18:0010月15日19:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。