Mila 研究：统一多模态模型中存在跨模态转向向量，可在文生图与文生文之间零样本迁移

Mila 联合 McGill、CMU、MIT、东北大学发布论文，验证统一多模态模型（UMM）中存在跨模态转向向量，可零样本在文本与图像模态间迁移。对情绪、物体大小等概念，转向向量在文→图、图→文双向均可迁移，即使是“正式 vs 口语化语言”这类高度专属单一模态的概念，也常产生一致可解释的效果。文本与图像表征间存在明显模态间隙，但转向效果仍可迁移，说明两种模态共享因果控制机制。