热点事件持续更新
MLLM检索头跨模态共享且可经排序训练优化
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月26日，arXiv cs.CL 发布一项研究，检验多模态大模型（MLLM）的检索头是否随模态扩展。研究采用“同一答案分别呈现为语音与屏幕文字”的配对输入，并在18个语言、视觉语言与全模态 checkpoint 上分析。结果显示，新模态下检索头仍然稀疏，且跨模态大量共享；全模态模型基本保留骨干网络的检索头，跨模态共享头不足全部注意力头的2%。研究进一步用排序目标训练注意力，Qwen3-VL-8B 在 MMDocIR 上的 page Recall@1 提升6.03点。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 12:00
新研究覆盖18个checkpoint，发现检索头跨模态共享，排序训练使Recall@1提升6.03点。报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv cs.CLMLLM 的检索头是否随模态扩展：覆盖 18 个 checkpoint 的分析
研究以同一答案分别为语音与屏幕文字的配对输入检验 MLLM 检索头，发现新模态下检索头仍稀疏且跨模态大量共享。在 18 个语言、视觉语言和全模态 checkpoint 上，全模态模型基本保留骨干网络的检索头，跨模态共享头不足全部注意力头的 2%。用排序目标训练注意力后，Qwen3-VL-8B 在 MMDocIR 上的 page Recall@1 提升 6.03 点。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。