Argon 在 vLLM 上优化 Gemma 4 E2B：单张 A100 跑出 12 万 tokens/秒，提速 2.9 倍

推理优化团队 Argon 在 vLLM 上深度优化 Gemma 4 E2B，单张 A100 上实现 12 万 tokens/秒，较原始实现提速约 2.9 倍。其中 prefill 达 124k tokens/秒、端到端 111k，团队宣称零质量损失。演示中用该吞吐同时生成 64 个实时运行的 Python 模拟，展示高吞吐推理在交互式场景的可用性。