AGI Hunt· Unstable_Llama·· 3 小时前AI 评分57
EXL3-QLoRA 开源:可直接在 2-8bpw 量化模型上做 QLoRA 训练
EXL3-QLoRA 开源:直接在 2-8bpw 量化模型上做 QLoRA 训练
AI 导读
Reddit 用户 UnstableLlama 开源 exl3-qlora,一个基于 ExLlamaV3、纯 PyTorch 且不依赖 transformers 的实现,可直接对 2-8bpw 的 EXL3 量化模型做 QLoRA 微调,突破以往只能用 BNB 4-bit 的限制。
来源:AGI Hunt · agihunt.info