跳到正文
原文
AGI Hunt· OpeningRock8761·· 3 小时前AI 评分51

腾讯把 770B 混元压到 214 GiB,混合精度平均仅 2.38 bit

腾讯把 770B 混元压到 214 GiB,混合精度平均仅 2.38 bit

AI 导读

腾讯混元量化团队成员 yghstill 拆解了把 770B 参数的 Hy4 Preview 从约 1.5TB 权重压到 214 GiB 的量化方案,参数量不变,只改变权重表示方式,全模型混合精度平均约 2.38 bit。

来源:AGI Hunt · agihunt.info