AGI Hunt· ethayarajh·· 3 小时前AI 评分49
Axolotl v0.21.0 发布:单节点 QLoRA 微调 501B MoE,支持扩散语言模型
Axolotl v0.21.0 发布:单节点 QLoRA 微调 501B MoE,支持扩散语言模型
AI 导读
Axolotl v0.21.0 发布,可在单节点 8×H200 上以 QLoRA 微调 Reflection Beam——这个 501B 参数、23B 激活的 MoE 模型,并提供 FSDP2、devicemap 配置及 B200 上的 bf16/NVFP4/NF4 专家并行 LoRA 配方。
来源:AGI Hunt · agihunt.info