跳到正文
原文
AGI Hunt· HirokatuKataoka·· 3 小时前AI 评分47

斯坦福新论文:生成式表征学习做 tokenizer,省 7-8 倍训练算力

斯坦福新论文:生成式表征学习做 tokenizer,省 7-8 倍训练算力

AI 导读

斯坦福等机构的论文提出面向生成建模 tokenizer 的自监督表征学习方法,在 ImageNet 上把 JiT-L 的 FID 从 2.36 降到 2.18。该方法用生成模型条件预测间的信息差监督表征,避免 DINO、LeJEPA 出现的维度坍缩与特征抑制。tokenizer 编码器训练比 DINOv2 省 7 倍 FLOPs、比 WebSSL 省 8 倍,代码已开源。

来源:AGI Hunt · agihunt.info