vLLM 公布 Muse Spark Open 推理优化

vLLM 公布了 Muse Spark Open 服务栈的跨硬件推理优化细节。据 AGI Hunt 2026 年 10 月 16 日报道，在 TPU 上该模型推理速度达到每秒 960 tokens；在 NVIDIA 平台上，vLLM 与 FlashInfer 联合优化，涉及融合算子等内容。此外，Inferact 为该模型训练了 DSpark 投机解码草稿模型，该草稿模型基于块扩散，一次最多提出 7 个 draft token，并支持自适应验证。以上为目前披露的优化进展，尚无其他硬件平台的对比数据公布。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。