AGI Hunt· UCLA·· 6 小时前AI 评分35
UCLA 借 MoE 路由输出做跨语言对齐,提升多语言性能
UCLA 借 MoE 路由输出做跨语言对齐,提升多语言性能
AI 导读
UCLA 提出面向 decoder-only LLM 的跨语言对比学习新方法:因多语言 tokenization 不一致,无法像多语言 encoder 那样直接在 hidden states 上施加对齐损失,改用 MoE router 输出作为对齐目标,其更适合跨多 token 池化,可在序列级做更可靠的跨语言比较。
来源:AGI Hunt · agihunt.info