跳到正文
原文
AGI Hunt· NanyangTechnologicalUniversity·· 4 小时前AI 评分45

PrismQuant 用零空间旋转优化 INT4 量化,70B 模型几乎无损

AI 导读

PrismQuant 提出量化器感知的旋转框架,将激活主特征空间与非对称分组 INT4 的常量组子空间对齐。在 W4A4KV4 下 Llama-3.2-3B 达到 SOTA,Llama-3.1-70B 困惑度 3.85、平均零样本准确率 72.46%,仅比全精度低 0.22 个百分点。

来源:AGI Hunt · agihunt.info