跳到正文
原文
AGI Hunt· Chenhao Yuan·· 4 小时前AI 评分44

RuleTrek 基准:11 个前沿 LLM 规则推理最高得分仅六成

AI 导读

中科院自动化所等团队发布 RuleTrek,一个面向复杂场景的多领域 agentic 规则推理基准,代码与数据集已开源。该基准从规则文档抽取结构化规则图,在交互式工作区中评测规则识别(RI)、规则推演(RD)与端到端规则推理(E2E)三项能力。11 个前沿 LLM 中,RI 与 RD 最高分仅 62.47% 和 60.43%,E2E 得分在 26.97%–55.29% 之间。

来源:AGI Hunt · agihunt.info