arXiv cs.CL· Hemant Yadav, Sunayana Sitaram, Roger Zimmermann, Rajiv Ratn Shah·· 4 小时前AI 评分36
DirectSpeech2LLM：缓解 Speech-LLM 提示词过拟合的端到端框架
DirectSpeech2LLM: A Simple End-to-End Framework to Mitigate Prompt Overfitting in Speech-LLMs
AI 导读
DirectSpeech2LLM 是一个缓解 Speech-LLM 提示词过拟合的端到端框架，在冻结的 LLM 嵌入矩阵上计算基于距离的 CTC loss。仅用 960 小时 LibriSpeech ASR 数据训练，它在 ASR 上优于级联系统，并零样本泛化到语音翻译和情感识别，接近级联系统上界；结果在两个 LLM 家族上一致并随训练数据与模型容量扩展。
来源：arXiv cs.CL · arxiv.org