arXiv cs.CL· Narges Mokhtari, Farzan Haddadi, Ebrahim Rezaii·· 2 天前AI 评分31
流形投影与迭代自编码器精修：替代 attention 的掩码语言模型架构
Manifold Projection and Iterative Autoencoder Refinement for Masked Language Modeling
AI 导读
新架构用低秩瓶颈自编码器堆叠替换 Transformer 掩码语言模型中的 attention，在 C4 上预训练后以约 1.9× 更少 FLOPs 达到 attention 的相当部分性能。
来源：arXiv cs.CL · arxiv.org