AGI Hunt· teortaxesTex·· 3 小时前精选AI 评分69
阶跃星辰开源 Step 5 Preview:600B MoE、1M token 上下文
阶跃星辰开源 Step 5 Preview:600B MoE、百万上下文
AI 导读
阶跃星辰开源 Step 5 Preview 模型权重,并同步发布架构与训练博客。该模型为 600B 总参数的稀疏 MoE,每 token 激活 27B,原生支持文本与视觉多模态,主打通用长程 Agent 任务,具备 1M token 上下文。其核心的 Sparse GQA 稀疏注意力机制通过块合并把索引器开销降低 8 倍。
推荐理由
Step 5 Preview 开源权重并附架构博客,读者可了解 27B 激活与 1M 上下文背后的稀疏注意力取舍。
来源:AGI Hunt · agihunt.info