arXiv cs.CL· Tianchi Liu, Nicholas Moratelli, Khurram Azeem Hashmi, Mohammadreza Zolfaghari, Rishabh Jain, Louis Lu, Changdae Park, Amril Nazir·· 4 小时前AI 评分38
CAFE：把特征蒸馏限制到语言路由适配器，改进紧凑多语言 ASR
CAFE: Confining Feature Distillation to Language-Routed Adapters for Compact Multilingual Automatic Speech Recognition
AI 导读
CAFE 将 CKA 特征蒸馏梯度限制在英语绕过的适配器中，把 Open ASR Leaderboard 上的平均 WER 从 8.55% 降到 8.02%。它优于仅做适配器容量控制的 8.51%，254M 参数在 24 种语言、48 个测试集上比 0.6B 教师模型差 2 个 WER 点。诊断显示，CKA 梯度与共享编码器中英语所用子空间重叠达 97.5%–99.5%。
来源：arXiv cs.CL · arxiv.org