跳到正文
原文
AGI Hunt· udmrzn·· 3 小时前AI 评分45

RECON 论文:推理时复用 REPA 投影头,训练比 REPA 快 25 倍

RECON 论文:推理时复用 REPA 投影头,训练比 REPA 快 25 倍

AI 导读

针对扩散 Transformer 的语义注入,RECON 在训练时把预训练视觉编码器 token 送入 DiT 后续层,推理时复用 MLP 投影头作为视觉编码器代理。该方法不增加参数,收敛比 SiT 快 63 倍、比 REPA 快 25 倍,ImageNet FID 提升,更少采样步数下仍保持生成质量。代码已开源。

来源:AGI Hunt · agihunt.info