跳到正文
原文
AGI Hunt· vllm_project·· 5 小时前AI 评分48

Fractalyze 优化 Qwen3-Omni:单张 RTX 5090 首包音频延迟从 213ms 降至 23ms

单张 RTX 5090 优化 Qwen3-Omni,首包音频延迟从 213ms 降至 23ms

AI 导读

Fractalyze 团队优化了 vLLM-Omni 上的 Qwen3-Omni,使其能在单张 RTX 5090 上运行;在 AWQ 4bit 量化、batch-1 文本提示测试中,首段音频生成时间从 213ms 降至 23ms。完整工件已发布在 Hugging Face,vLLM 官方呼吁将优化贡献回上游 vLLM-Omni。

来源:AGI Hunt · agihunt.info