跳到正文
原文
AGI Hunt· Unstable_Llama·· 3 小时前AI 评分57

EXL3-QLoRA 开源:可直接在 2-8bpw 量化模型上做 QLoRA 训练

EXL3-QLoRA 开源:直接在 2-8bpw 量化模型上做 QLoRA 训练

AI 导读

Reddit 用户 UnstableLlama 开源 exl3-qlora,一个基于 ExLlamaV3、纯 PyTorch 且不依赖 transformers 的实现,可直接对 2-8bpw 的 EXL3 量化模型做 QLoRA 微调,突破以往只能用 BNB 4-bit 的限制。

来源:AGI Hunt · agihunt.info