AI2 字节级模型 Bolmo 研究登上 Nature 并开放权重

AI2 宣布其字节级语言模型 Bolmo 的字节化研究被 Nature 接收并正式发表，同时发布新的 Stage 1 checkpoint，Bolmo 为全开源模型。研究指出，主流模型的子词切分会掩盖不同书写系统的拼写细节，并拆碎代码与数学中有意义的单元，而字节级建模可直接读写文本字节来避免这些问题。