热点事件持续更新
Meta 提出首个 Loop MoE Scaling Law
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
2026年10月1日,AGI Hunt 报道 Meta 提出首个同时建模“循环(looping)”与“稀疏 MoE”的 Loop Scaling Laws,称其对 looped 模型的 held-out loss 预测优于既有方法。报道称,实测结果显示稀疏能带来约 3 倍的有效参数效率,循环在推理任务上带来约 2 倍的总参数效率。在万亿 token 规模下,当训练算力相同时,按该定律设计的 looped MoE 可匹敌约 2 倍大的非 looped MoE,并支持通过循环实现测试时扩展。报道未披露更多实验细节、模型规模或对比基线的具体设定,目前公开信息仅此一篇。
AI 根据报道生成 · 44 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
10月1日
- AGI HuntMeta 首个 Loop MoE Scaling Law:稀疏省 3 倍、循环省 2 倍算力
Meta 提出首个同时建模循环与稀疏 MoE 的 Loop Scaling Laws,其对 looped 模型 held-out loss 的预测优于既有方法。实测稀疏带来约 3 倍有效参数效率,循环在推理任务上带来约 2 倍总参数效率。在万亿 token 规模下,等训练算力时按该定律设计的 looped MoE 可匹敌约 2 倍大的非 looped MoE,并支持通过循环做测试时扩展。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。