AGI Hunt· arankomatsuzaki·· 4 小时前AI 评分40
QUASAR 修正 QAT 高低精度错配:低位量化训练损失更低且零推理开销
AI 导读
QUASAR 针对 QAT 高低精度错配,只改变前向传播中的权重重建映射,不增加任何推理开销。QAT 在 2-4 bit 下每步更新的是高精度隐含权重,损失与梯度却在推理实际使用的低位重建权重上计算,造成训练动态次优、损失下限偏高。该方法计算廉价,可与其他 QAT 方法叠加,实验中损失持续低于所有 QAT 基线。
来源:AGI Hunt · agihunt.info