跳到正文
原文
arXiv cs.AI· Erle Zhu, Genrui Zhang, Keyang Hu, Mingyu Su, Hongning Wang·· 4 小时前AI 评分45

AOS-Bench:LLM 智能体能否管理动态工作负载?

AOS-Bench: Can LLM Agents Manage Dynamic Workloads?

AI 导读

AOS-Bench 把 LLM 智能体当作工作负载管理器来评测:任务随时间陆续到达,须在共享 CPU 和内存限制下完成。五个 model–harness 组合中,重负载下各系统成功率下降 13 到 23 分;中等负载下,两个隔离成绩仅差 0.6 分的系统分别交付 54% 和 68% 的任务。串行调度使 73% 的重负载任务无人认领,而固定并发 2 的策略距最佳 agent 管理策略不到 4 分。

来源:arXiv cs.AI · arxiv.org