AGI Hunt· arankomatsuzaki·· 7 小时前AI 评分45
Looped-DiT:循环复用 Transformer 块,260M 小模型以 4.9 倍低算力胜过 6.5 倍大模型
循环复用 Transformer 块:260M 小模型以 4.9 倍低算力胜过 6.5 倍大模型
AI 导读
Looped-DiT 提出循环扩散 Transformer,在每个去噪步骤内反复运行共享的 Transformer 块,以参数量不变的方式增加计算深度。260M 参数的循环模型在多个 T2I 基准上超越 6.5 倍大的模型,推理算力降低 4.9 倍。其跨循环深监督与自调制注意力解决了朴素循环的监督不足与注意力失稳,且固定推理预算下加深循环比增加去噪步数收益更大。
来源:AGI Hunt · agihunt.info