Argon 优化 Gemma 在 vLLM 单卡 A100 提速 2.9 倍

推理优化团队 Argon 在 vLLM 上对 Gemma 4 E2B 做深度优化，在单张 A100 上实现 12 万 tokens/秒的吞吐，较原始实现提速约 2.9 倍。团队称其中 prefill 阶段达 124k tokens/秒，端到端为 111k tokens/秒，并宣称零质量损失。演示环节中，该吞吐可同时生成 64 个实时运行的 Python 模拟，用以展示高吞吐推理在交互式场景下的可用性。目前该事件仅有这一项公开进展，尚未见第三方复现或评测结果，也未见与早先报道在数字或说法上的出入。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。