arXiv cs.CL· Pawe{\l} M\k{a}ka, Piotr Andruszkiewicz, Yusuf Can Semerci, Jan Scholtes, Gerasimos Spanakis·· 2 天前AI 评分36
基于指标损失加权提升 LLM 多模态机器翻译视觉敏感性
Improving Visual Sensitivity of LLMs on Multimodal Machine Translation with Metric-based Loss Weighting
AI 导读
一种 Metric-based Loss Weighting 训练方法利用 PCXMI 和 Congruency-based PCXMI 识别受益于图像的 token，在 CoMMuTE 对比数据集上使多模态机器翻译准确率较标准微调最高提升超过 7 个百分点。该方法通过微调三个预训练多模态大语言模型，在三个语言方向的图像引导机器翻译任务上评估，并保持较强通用翻译性能。
来源：arXiv cs.CL · arxiv.org