UCLA 首次系统研究混合注意力 LLM 的多语言能力，发现层序可改

UCLA 发布首个系统研究，探讨混合注意力 LLM（全注意力+循环变体）如何影响多语言能力，发现循环层与全注意力层排列顺序会改变跨语言表征。可解释性分析显示，第一个全注意力层附近跨语言对齐显著飙升。多语言数据蒸馏中，所有替代层序全程优于标准排序，学习速度最高快 2.5 倍，作者提出多语言模型应从全注意力层而非循环层开始。