arXiv cs.AI· Zhanke Zhou, Zongze Li, Weikai Huang, Xuan Li, Chentao Cao, Xiao Feng, Xiangyu Lu, Jinbo Hu, Yi Xie, Nico Pelleriti, Shiyang Liu, Menghan Lu, Max Zimmer, Brando Miranda, Jiangchao Yao, Bo Liu, Sanmi Koyejo, Sebastian Pokutta, Bo Han·· 9 小时前AI 评分44
AlphaDiana：面向可验证推理任务的智能体测量系统
AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks
AI 导读
AlphaDiana 是面向可验证推理任务的智能体测量系统，提供数据集、智能体、环境与评分器的模块化接口，可在匹配条件下对工具、技能、记忆等组件做微观干预。在三个开源模型、三个开源 harness 与五个基于答案的基准上，harness 并未稳定提升推理准确率，技能引导与保留历史也不可靠提升准确率。
来源：arXiv cs.AI · arxiv.org