跳到正文
原文
AGI Hunt· ethayarajh·· 3 小时前AI 评分49

Axolotl v0.21.0 发布:单节点 QLoRA 微调 501B MoE,支持扩散语言模型

Axolotl v0.21.0 发布:单节点 QLoRA 微调 501B MoE,支持扩散语言模型

AI 导读

Axolotl v0.21.0 发布,可在单节点 8×H200 上以 QLoRA 微调 Reflection Beam——这个 501B 参数、23B 激活的 MoE 模型,并提供 FSDP2、devicemap 配置及 B200 上的 bf16/NVFP4/NF4 专家并行 LoRA 配方。

来源:AGI Hunt · agihunt.info