UltraBERT 重审 BERT 预训练：首次在分类与检索上同时达到 SOTA

UltraBERT 重审双向编码器预训练配方，成为首个在分类与检索上同时达到 SOTA 的编码器，GLUE 91.0、BEIR 47.7。它发现低掩码比例利于分类、高掩码比例利于检索，据此在同一 batch 内为两种掩码比例分配独立 LM head 并把蒸馏限制在低比例。模型提供 150M/380M 两档参数与 32K 上下文。