跳到正文
原文
AGI Hunt· vllm_project·· 2 小时前AI 评分60

vLLM 详解 AMD MI355X 跑 Kimi K3 推理优化,吞吐超 B300 24.4%

AMD MI355X 跑 Kimi K3 推理吞吐超 B300 24%

AI 导读

vLLM 团队发布长文,详解在 8 卡 AMD Instinct MI355X 上部署 Kimi K3 推理的优化工作。SemiAnalysis 的 AgentX 智能体编码基准测试显示,MI355X 跑 Kimi K3 的吞吐量超过 NVIDIA B300 24.4%,每美元产出的 token 多 87%。

来源:AGI Hunt · agihunt.info