跳到正文
原文
arXiv cs.AI· Xisen Jin, Jingheng Li, Zhenglun Chen, Junyi Du, Xiang Ren·· 4 小时前AI 评分42

ReLiveGym:在数周重放现实中评估长期运行智能体

ReLiveGym: Evaluating Long-Lived Agents over Weeks of Replayed Reality

AI 导读

ReLiveGym 是一个面向长期运行智能体的诊断评测环境,让智能体在按时间重放的真实新闻、市场与社交媒体流中稀疏地行动数周。研究基于 8 个基础语言模型,考察模型选择与 harness 设计对表现的影响,发现何时行动是长期任务的关键设计轴,最优设计因任务乃至模型而异。研究还评估了从事后反馈中持续学习的效果。

来源:arXiv cs.AI · arxiv.org