AGI Hunt· vllm_project·· 3 小时前AI 评分33
vLLM 展示 Beam 长上下文服务 kernel 优化:GB200 前向最快降 20%
Beam 长上下文服务优化:GB200 前向最快降 20%
AI 导读
vLLM 团队展示为 Beam 长上下文服务所做的 kernel 级优化,包括融合 all-reduce + norm、打包 QKV 路径和 tanh softcap kernel,GB200 前向微基准最快降 20%。
来源:AGI Hunt · agihunt.info