跳到正文
原文
AGI Hunt· bookwormengr·· 3 小时前AI 评分54

AMD 抢先 NVIDIA:MegaKernel 解码支持合入 vLLM 上游

AMD 抢先 NVIDIA:MegaKernel 解码支持进入 vLLM 上游

AI 导读

据 SemiAnalysis,AMD 已在 vLLM 上游主线合入 MegaKernel 解码支持,落地时间早于 NVIDIA。MegaKernel 通过把 kernel 启动次数减少约 10 倍,提升高交互性解码即低延迟对话式推理的效率。

来源:AGI Hunt · agihunt.info