单卡RTX 5090跑25个agent，CPU工具调用成瓶颈

2026年10月6日，AGI Hunt 报道了一名作者在单张 RTX 5090 上搭建本地推理引擎、并在这张消费级显卡上并行运行 25 个 agent 的实测结果。据该报道，测试中 GPU 平均吞吐仅约 700 t/s，上下文与推理槽位仍有空闲，真正的瓶颈并不在 GPU，而是落在 CPU 的工具调用环节。报道据此提出：在这一本地多 agent 场景下，GPU 反而处于空闲状态，CPU 侧的工具调用才是限制整体吞吐的“真瓶颈”。截至该报道，事件尚无更多后续数据、复现结果或补充说明。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。