vLLM 联合 Inferact 优化 Muse Spark Open 推理

vLLM 公布 Muse Spark Open 服务栈的跨硬件优化细节，其中在 TPU 上推理速度达每秒 960 tokens。在 NVIDIA 上，vLLM 与 FlashInfer 联合优化，包括融合算子。Inferact 为该模型训练了 DSpark 投机解码草稿模型，基于块扩散一次最多提出 7 个 draft token，并支持自适应验证。