跳到正文
原文
AGI Hunt· BringTea_666·· 11 小时前AI 评分51

单卡 RTX 5090 跑 25 个 agent 发现:CPU 工具调用成真瓶颈,GPU 反而空闲

AI 导读

作者在单张 RTX 5090 上搭建本地推理引擎并并行运行 25 个 agent,发现 GPU 平均仅约 700 t/s、上下文与槽位空闲,瓶颈反而落在 CPU 的工具调用上。

来源:AGI Hunt · agihunt.info