跳到正文
原文
AGI Hunt· alex_verem·· 4 小时前AI 评分47

QLoRA:4 比特量化让单张显卡微调 65B 模型

QLoRA:4 比特量化让单张显卡微调 65B 模型

AI 导读

QLoRA 把 65B 参数模型量化到 4 比特后,可在单张 GPU 上完成微调。过去需要一个集群才能做的事,现在一块显卡就能搞定,大幅降低了大模型定制的硬件门槛。它被视为本地 AI 生态的关键技术之一。

来源:AGI Hunt · agihunt.info