AGI Hunt· TheZachMueller·· 2 小时前AI 评分54
Zach Mueller 公开 GLM-5.3-Flash NVFP4 的 SGLang 部署配置
GLM-5.3-Flash NVFP4 的 SGLang 部署配置全公开
AI 导读
Zach Mueller 公开了在 4 张 RTX 6000 Max-Q 上运行 GLM-5.3-Flash NVFP4 的完整 SGLang 配置,包含张量并行 4、MoE 后端 flashinfercutlass、量化 modeloptfp4 以及 fp8e4m3 的 KV cache。
来源:AGI Hunt · agihunt.info