预训练算力超 1e22 FLOPs 后可直接砍掉视觉编码器

rosinality 转发的研究观点称，多模态模型预训练计算量超过 1e22 FLOPs 后可直接去掉视觉编码器，不再需要单独的 vision encoder。该观点认为，在足够大的算力规模下，原生多模态训练可以吸收视觉编码器通常承担的角色。