跳到正文
原文
arXiv cs.AI· Delin Wang, Sinuo Wang, Rui Sun, Beidi Luan, Qiming Shi, Jing Li, Daxin Jiang, Zuo Bai·· 2 小时前AI 评分43

RubricAtlas:从专家报告中挖掘类型级评分标准,以评估深度研究智能体

RubricAtlas: Mining Type-Level Rubrics from Expert Reports to Evaluate Deep Research Agents

AI 导读

RubricAtlas 从专家报告中挖掘类型级评分标准,用于评估深度研究智能体的分析完整性,并将二元检查点链接到报告段落。它基于 3,079 份中文金融研究报告构建、覆盖 99 种研究类型;十个智能体上的两条评判流水线取得 κ = 0.71 的检查点一致性和 Kendall τ = 0.87 的排名一致性。

来源:arXiv cs.AI · arxiv.org