arXiv cs.AI· Han Wang, Zhitao Wang, Natalia Frumkin, Xuanwu Yin, Alireza Khodamoradi, Dong Li, Emad Barsoum·· 3 小时前AI 评分44
ALTO 如何在 MXFP4 下训练 20B MoE 模型 GPT-OSS-20B，把与 BF16 的差距缩小约 50%
Training an MoE LLM in MXFP4: How We Closed the Gap to BF16
AI 导读
开源训练配方 ALTO 在 MXFP4 下训练 200 亿参数 MoE 模型 GPT-OSS-20B，把与 BF16 基线的验证损失差距缩小约 50%。C4 验证集上 16,128 步的验证损失为 3.3350，仅比 BF16 的 3.3283 高 0.007，达到 MLPerf 质量目标所需的 FP4 收敛开销从 +20.0% 降到 +5.0%。
来源：arXiv cs.AI · arxiv.org