跳到正文
原文
AGI Hunt· textclf·· 3 小时前AI 评分38

ThousandML 开源 4-bit CQ 量化微调:验证损失比 Unsloth 低 17.4%

ThousandML 开源 4-bit CQ 量化微调:验证损失比 Unsloth 低 17.4%

AI 导读

ThousandML 发布微调平台,用自研的无校准 4-bit 量化 CQ 做 QLoRA 微调,以降低 GPU 成本。在 Qwen3.8-27B 上,其 Wikitext-2 mean KLD 为 0.0282,优于 Unsloth 的 bnb-4bit 0.0330,磁盘占用 18GB 对 22.4GB。

来源:AGI Hunt · agihunt.info