AGI Hunt· TheZachMueller·· 3 小时前AI 评分45
NVIDIA NVFP4 权重无损压缩省约 6GB 显存,可全部让给 KV-cache
NVFP4 权重无损压缩省 6GB 显存,可全部让给 KV-cache
AI 导读
针对「无损量化」说法的技术澄清指出,NVFP4 方案实为对 NVFP4 权重的无损压缩,在权重完全比特一致的前提下可省出约 6GB 显存。同样精度下典型 NVFP4 会大出约 6GB,压缩省出的显存可全部留给 KV-cache 使用。
来源:AGI Hunt · agihunt.info