AGI Hunt· gnukeith·· 4 小时前AI 评分45
4-bit 量化保留 98-99% 质量,DeepSeek V4 Flash 并不适合本地部署
4-bit 量化保留 98-99% 质量,DeepSeek V4 Flash 并不适合本地部署
AI 导读
开发者 gnukeith 称 4-bit 量化通常保留原模型 98-99% 的质量,8-bit 基本无损,3-bit 及以下明显掉到 90% 出头甚至更低。他警告 2-3 bit 部署会带来长期隐性伤害,并提到 MiMo-V2.6 论文采用 MXFP4 量化感知训练(QAT)在 mid-training 阶段适应低精度计算。
来源:AGI Hunt · agihunt.info