arXiv cs.AI· Ningxin Pan, Hanyu Li, Yeqing Shen, Ning Ding, Yehui Tang, Wentao Zhang·· 9 小时前AI 评分40
RealtimeBench：在实时时钟下评估与训练 LLM 智能体
The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock
AI 导读
RealtimeBench 用 180 个任务、6 种游戏类型评估 LLM 智能体，且游戏在模型推理期间持续运行。配对评估显示，游戏暂停时 GPT-6.1-sol 优于更快的 Jev，游戏持续运行时则落后。配套的 TORSI 经两轮训练把 Jev 平均测试分从 13.51 提到 24.19（0–100 进度分），六类游戏全部提升，其指令还能在免微调下提升另外三个模型。
来源：arXiv cs.AI · arxiv.org