跳到正文
原文
AGI Hunt· UCLA·· 6 小时前AI 评分35

UCLA 借 MoE 路由输出做跨语言对齐,提升多语言性能

UCLA 借 MoE 路由输出做跨语言对齐,提升多语言性能

AI 导读

UCLA 提出面向 decoder-only LLM 的跨语言对比学习新方法:因多语言 tokenization 不一致,无法像多语言 encoder 那样直接在 hidden states 上施加对齐损失,改用 MoE router 输出作为对齐目标,其更适合跨多 token 池化,可在序列级做更可靠的跨语言比较。

来源:AGI Hunt · agihunt.info