跳到正文
原文
AGI Hunt· ostrisai·· 21 小时前AI 评分36

中间层只算 1/4 token:把 DiT 重排成 U-Net 提速 2.3 倍

AI 导读

开发者 @LodestoneRock 通过残差数学重排,可把 DiT 等 transformer 残差模型转换成更高效的 U-Net 风格结构,中间层只处理约 1/4 的 token。推理速度比原模型快 2.3 倍,配合快速校准(calibration)能恢复大部分原始输出质量。该方法理论上适用于任意 transformer 残差模型。

来源:AGI Hunt · agihunt.info