跳到正文
热点事件持续更新

Meta 提出首个 Loop MoE Scaling Law

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

2026年10月1日,AGI Hunt 报道 Meta 提出首个同时建模“循环(looping)”与“稀疏 MoE”的 Loop Scaling Laws,称其对 looped 模型的 held-out loss 预测优于既有方法。报道称,实测结果显示稀疏能带来约 3 倍的有效参数效率,循环在推理任务上带来约 2 倍的总参数效率。在万亿 token 规模下,当训练算力相同时,按该定律设计的 looped MoE 可匹敌约 2 倍大的非 looped MoE,并支持通过循环实现测试时扩展。报道未披露更多实验细节、模型规模或对比基线的具体设定,目前公开信息仅此一篇。

AI 根据报道生成 · 44 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月1日
  1. AGI Hunt
    Meta 首个 Loop MoE Scaling Law:稀疏省 3 倍、循环省 2 倍算力

    Meta 提出首个同时建模循环与稀疏 MoE 的 Loop Scaling Laws,其对 looped 模型 held-out loss 的预测优于既有方法。实测稀疏带来约 3 倍有效参数效率,循环在推理任务上带来约 2 倍总参数效率。在万亿 token 规模下,等训练算力时按该定律设计的 looped MoE 可匹敌约 2 倍大的非 looped MoE,并支持通过循环做测试时扩展。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。