热点事件持续更新
Reflection 发布 501B MoE 模型 Beam
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Reflection 发布 501B MoE 模型 Beam。随后 vLLM 团队对该模型架构做了拆解：Beam 共 52 层，每层为 MoE 结构，每个 token 从 256 个专家中激活 8 个，其中前 3 层为稠密 MLP。注意力机制在 512-token 滑动窗口与全局 NoPE 全注意力之间交替，以兼顾本地处理与长上下文访问；模型使用 Harmony 格式承载推理与工具调用结构，此外还有一个独立的 5 层 drafter 提供投机解码 token。拆解文中特别说明，1M 是配置上限，并不代表全窗口的质量。
AI 根据报道生成 · 2 小时前更新
最新进展10月16日 21:23
vLLM 团队拆解 Beam：52 层每 token 激活 8/256 专家，并说明 1M 仅为配置上限。报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- AGI HuntvLLM 团队拆解 Beam 架构：52 层 MoE 每 token 激活 8/256 专家
vLLM 团队拆解 Beam 的内部结构，52 层中每 token 从 256 个专家中激活 8 个，前 3 层为稠密 MLP。注意力在 512-token 滑动窗口与全局 NoPE 全注意力之间交替，兼顾本地处理与长上下文访问；Harmony 格式承载推理与工具调用结构，另有一个独立的 5 层 drafter 提供投机解码 token。文中说明 1M 是配置上限，不代表全窗口质量。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。