AGI Hunt· RUC·· 3 小时前AI 评分39
人大提出 LoopVL:循环 Transformer 视觉语言模型胜过更大非循环模型
人大提出 LoopVL:循环 Transformer 视觉语言模型胜过更大非循环模型
AI 导读
人大(RUC)团队提出 LoopVL,将 Module-Loop 与 Model-Loop 两种循环计算方式结合,通过共享模块迭代更新统一的视觉-语言状态。该模型从零开始完成语言预训练、多模态训练与后训练三阶段训练,在多模态理解与视觉推理基准上超越一系列同等规模甚至更大的非循环模型。研究还观察到跨循环中视觉注意力显著跳变的「视觉顿悟时刻」(Visual Aha Moments)。
来源:AGI Hunt · agihunt.info