arXiv cs.CL· Ruikang Liu, Haoli Bai, Yuxuan Sun, Qian Zhang, Wenzheng Cai, Yanqi Hao, Feiyu Wang, Weidong Zhong, Zhuang Wang, Tong Yang, Xiangsheng Zhou·· 2 天前AI 评分36
G²PTQ：用广义梯度补偿改进 LLM 训练后量化
G$^2$PTQ: Improving LLM Post-Training Quantization with Generalized Gradient Compensation
AI 导读
G²PTQ 提出统一的大语言模型训练后量化框架，在全局监督的块级目标下融合一阶与二阶信息，并在量化每个 Transformer 块前刷新梯度与 Hessian 估计。它引入 trust-region 缩放机制约束梯度步长，防止权重更新爆炸。在多种模型族和位宽上，G²PTQ 与全精度模型的对齐优于 SOTA 基线。
来源：arXiv cs.CL · arxiv.org