跳到正文
原文
AGI Hunt· theqmann·· 3 小时前AI 评分18

GGUF Q4 与软件模拟 NVFP4 哪个好?Reddit 探讨 4bit 量化质量差异

AI 导读

一位 4000 系显卡用户在 Reddit 发帖,讨论显卡不支持原生 NVFP4、只能软件模拟时,FP4 与 Q4 GGUF 的 4bit 量化质量差异。他推算 FP4 的块组缩放能大幅减少 Q4 GGUF 编码的精度损失,且两者显存占用应相同(均为 4bit 存入显存、进入核心时才展开)。若软件模拟开销不大,FP4 输出质量应更高,他因此求证是否有人做过对比测试。

来源:AGI Hunt · agihunt.info