热点事件持续更新
冰岛语 ModernBERT 编码器 12M 至 1B 参数
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月28日，arXiv cs.CL 刊出一项冰岛语编码器研究：团队在 9B tokens 开放数据上训练 ModernBERT 冰岛语编码器，参数规模覆盖 12M 到 1B。报道称，从零训练的 1B 模型在全部 11 项任务上显著优于此前的 IceBERT。从同形状的英文 Ettin 编码器热启动的版本，则在每一项参与排名的任务上取得最高分。研究还比较了词表处理方式：移植词表后热启动，效果不显著差于在同文本上从零训练；若保留源词表，则在问答任务上损失约 5 F1，且算力接近 3 倍。目前进展是发布这批开源数据训练的多规模编码器，并给出 1B 模型相对 IceBERT 的对比结果。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
研究发布 12M–1B 冰岛语 ModernBERT 编码器，1B 模型 11 项任务全面超过 IceBERT。报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.CL超越 IceBERT：12M 到 1B 参数的开源数据 ModernBERT 冰岛语编码器
ModernBERT 冰岛语编码器在 9B tokens 开放数据上覆盖 12M 到 1B 参数，从零训练的 1B 模型在全部 11 项任务上显著优于 IceBERT。从同形状英文 Ettin 编码器热启动的版本，在每项参与排名的任务上得分最高。移植词表后热启动从不显著差于同文本从零训练；保留源词表则在问答上损失 5 F1、算力接近 3 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。