AGI Hunt· benno_krojer·· 3 小时前AI 评分32
bennokrojer 新论文:视觉-语言对齐无需配对数据即可训练投影层
视觉-语言对齐新进展:无需配对数据即可训练投影层
AI 导读
研究者 bennokrojer 分享的新论文表明,从视觉 token 到 LLM 输入空间的投影层(projector)同样可以在无配对数据(unpaired)的情况下训练。此前 Dominik Schnaus 的工作已证明视觉与语言嵌入空间能在无配对数据下对齐,新论文把这一思路推进到投影层层面。这一 PRH 方向的进展被视为多模态大模型训练范式的有意思变化。
来源:AGI Hunt · agihunt.info