跳到正文
原文
AGI Hunt· TheZachMueller·· 3 小时前AI 评分45

NVIDIA NVFP4 权重无损压缩省约 6GB 显存,可全部让给 KV-cache

NVFP4 权重无损压缩省 6GB 显存,可全部让给 KV-cache

AI 导读

针对「无损量化」说法的技术澄清指出,NVFP4 方案实为对 NVFP4 权重的无损压缩,在权重完全比特一致的前提下可省出约 6GB 显存。同样精度下典型 NVFP4 会大出约 6GB,压缩省出的显存可全部留给 KV-cache 使用。

来源:AGI Hunt · agihunt.info