单卡3090自研CUDA引擎并发4个编码agent

2026年10月27日，AGI Hunt 报道一名开发者用自研 CUDA 引擎，在单张 RTX 3090 上运行 Qwen3.8-27B 模型，同时服务 4 个编码 agent，总吞吐约 290 tok/s。报道称该速度达到 llama-server --parallel 的 3-4 倍。演示附有视频，被描述为本地推理优化与并发服务的实机成果。目前该事件仅有这一篇报道，尚无关于引擎实现细节、模型量化方式与测速条件的更多公开信息。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。