跳到正文
热点事件持续更新

Axolotl 新版本支持单节点微调 501B MoE

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026 年 10 月 17 日,AGI Hunt 报道,Axolotl 发布 v0.21.0 版本。报道称该版本可在单节点 8×H200 上以 QLoRA 方式微调 Reflection Beam,这是一个 501B 参数、23B 激活的 MoE 模型。新版本同时加入对扩散语言模型的支持,并提供 FSDP2、devicemap 配置,以及 B200 上 bf16、NVFP4、NF4 三种精度的专家并行 LoRA 配方。就目前已见报道而言,版本号、硬件配置与模型规模等说法一致,尚未出现相互矛盾的数字或时间。后续进展有待更新的报道确认。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月17日
  1. AGI Hunt
    Axolotl v0.21.0 发布:单节点 QLoRA 微调 501B MoE,支持扩散语言模型

    Axolotl v0.21.0 发布,可在单节点 8×H200 上以 QLoRA 微调 Reflection Beam——这个 501B 参数、23B 激活的 MoE 模型,并提供 FSDP2、devicemap 配置及 B200 上的 bf16/NVFP4/NF4 专家并行 LoRA 配方。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。