跳到正文
原文
AGI Hunt· TheZachMueller·· 5 小时前AI 评分38

Kimi-K2.6 INT4 与 NVFP4 量化在 8×RTX Pro 6000 本地推理实测

Kimi-K2.6 INT4与NVFP4量化在8×RTX Pro 6000本地推理实测

AI 导读

keennay 在 LocalMaxxing 上传 Kimi-K2.6 推理基准,基于 8×RTX Pro 6000 Blackwell(768GB 显存)与 vLLM,对比 INT4、NVIDIA NVFP4 量化,覆盖 8K–256K 上下文、1–128 并发。

来源:AGI Hunt · agihunt.info