AGI Hunt· ZenZombie117·· 3 小时前精选AI 评分65
开源工具 xyntetik-runner 可直接在量化 GGUF 上训 LoRA，无需 PyTorch 和 FP16 底模
Runner 实现直接在量化 GGUF 上训 LoRA,免 PyTorch 免 FP16 底模
AI 导读
Reddit 用户分享开源工具 xyntetik-runner，可直接在量化 GGUF 权重上训练 LoRA 适配器，无需 PyTorch 或 FP16 底模，CPU 训练前向与 serving 前向一致，训出的适配器即线上运行的那份。
推荐理由
工具把 LoRA 训练放到线上服务的量化 GGUF 权重上，省去 PyTorch 与 FP16 底模，本地微调和端侧部署可据此评估接入成本。
来源：AGI Hunt · agihunt.info