高丽大学发布 MixLID：token 级混合语言识别模型，覆盖 111 种语言

高丽大学发布 token 级语言识别模型 MixLID，支持 111 种语言-文字组合，可判定混合语言文本中每个 token 的语言。模型分两阶段训练：先用单语样本学习区分各语言，再在 code-switching 拼接样本与英语源词-借词增强样本上继续训练。