arXiv cs.CL· Hafsteinn Einarsson·· 2 小时前AI 评分42
超越 IceBERT：12M 到 1B 参数的开源数据 ModernBERT 冰岛语编码器
Beyond IceBERT: Open-Data ModernBERT Encoders for Icelandic from 12M to 1B Parameters
AI 导读
ModernBERT 冰岛语编码器在 9B tokens 开放数据上覆盖 12M 到 1B 参数，从零训练的 1B 模型在全部 11 项任务上显著优于 IceBERT。从同形状英文 Ettin 编码器热启动的版本，在每项参与排名的任务上得分最高。移植词表后热启动从不显著差于同文本从零训练；保留源词表则在问答上损失 5 F1、算力接近 3 倍。
来源：arXiv cs.CL · arxiv.org