Meta 首个 Loop MoE Scaling Law：稀疏省 3 倍、循环省 2 倍算力

Meta 提出首个同时建模循环与稀疏 MoE 的 Loop Scaling Laws，其对 looped 模型 held-out loss 的预测优于既有方法。实测稀疏带来约 3 倍有效参数效率，循环在推理任务上带来约 2 倍总参数效率。在万亿 token 规模下，等训练算力时按该定律设计的 looped MoE 可匹敌约 2 倍大的非 looped MoE，并支持通过循环做测试时扩展。