arXiv cs.AI· Erle Zhu, Genrui Zhang, Keyang Hu, Mingyu Su, Hongning Wang·· 4 小时前AI 评分45
AOS-Bench:LLM 智能体能否管理动态工作负载?
AOS-Bench: Can LLM Agents Manage Dynamic Workloads?
AI 导读
AOS-Bench 把 LLM 智能体当作工作负载管理器来评测:任务随时间陆续到达,须在共享 CPU 和内存限制下完成。五个 model–harness 组合中,重负载下各系统成功率下降 13 到 23 分;中等负载下,两个隔离成绩仅差 0.6 分的系统分别交付 54% 和 68% 的任务。串行调度使 73% 的重负载任务无人认领,而固定并发 2 的策略距最佳 agent 管理策略不到 4 分。
来源:arXiv cs.AI · arxiv.org