MLLM 的检索头是否随模态扩展：覆盖 18 个 checkpoint 的分析

研究以同一答案分别为语音与屏幕文字的配对输入检验 MLLM 检索头，发现新模态下检索头仍稀疏且跨模态大量共享。在 18 个语言、视觉语言和全模态 checkpoint 上，全模态模型基本保留骨干网络的检索头，跨模态共享头不足全部注意力头的 2%。用排序目标训练注意力后，Qwen3-VL-8B 在 MMDocIR 上的 page Recall@1 提升 6.03 点。