跳到正文
原文
AGI Hunt· davidbau·· 4 小时前AI 评分43

研究发现 VLM 空间绑定是双机制:视觉编码器为主、语言模型为辅

AI 导读

Kelly Cui、Nikhil Prakash 等研究追溯 VLM 内部「X 在 Y 左边」这类空间关系的变量绑定位置,发现模型采用双机制:视觉编码器是绑定的主要来源,LM 主干起次要作用。移除其中一条通路后另一条会补位,说明模型同时用几何和语言两种方式做空间推理。

来源:AGI Hunt · agihunt.info