跳到正文
原文
AGI Hunt· TheZachMueller·· 2 小时前AI 评分54

Zach Mueller 公开 GLM-5.3-Flash NVFP4 的 SGLang 部署配置

GLM-5.3-Flash NVFP4 的 SGLang 部署配置全公开

AI 导读

Zach Mueller 公开了在 4 张 RTX 6000 Max-Q 上运行 GLM-5.3-Flash NVFP4 的完整 SGLang 配置,包含张量并行 4、MoE 后端 flashinfercutlass、量化 modeloptfp4 以及 fp8e4m3 的 KV cache。

来源:AGI Hunt · agihunt.info