UltraBERT 首次在分类与检索上同时达 SOTA

2026 年 10 月 14 日，AGI Hunt 报道，UltraBERT 对 BERT 式双向编码器的预训练配方进行了重新审视，成为首个在分类与检索两类任务上同时达到 SOTA 的编码器，在 GLUE 上取得 91.0、在 BEIR 上取得 47.7。报道称其关键发现是掩码比例存在任务偏好：低掩码比例更利于分类，高掩码比例更利于检索。基于此，UltraBERT 在同一个 batch 内为两种掩码比例分配独立的 LM head，并把蒸馏限制在低掩码比例一侧。模型提供 150M 与 380M 两档参数规模，并支持 32K 上下文。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。