vLLM 团队拆解 Beam 架构：52 层 MoE 每 token 激活 8/256 专家

vLLM 团队拆解 Beam 的内部结构，52 层中每 token 从 256 个专家中激活 8 个，前 3 层为稠密 MLP。注意力在 512-token 滑动窗口与全局 NoPE 全注意力之间交替，兼顾本地处理与长上下文访问；Harmony 格式承载推理与工具调用结构，另有一个独立的 5 层 drafter 提供投机解码 token。文中说明 1M 是配置上限，不代表全窗口质量。