AGI Hunt· Prestigious-Taste-63·2026-10-04 23:50· 1 天前AI 评分49

个人开发者用 86.5B token 从零训练 3.87B MoE 模型 Apex-2 并开源

个人开发者用86.5B token从零训练3.87B MoE模型并开源

AI 导读

个人开发者完全从零预训练并开源了 3.87B 总参数、1.45B 激活的 Decoder-only MoE 模型 Apex-2，预训练仅用 86.5B token。

来源：AGI Hunt · agihunt.info