arXiv cs.AI· Julien Kordes, Reuben Dorent·· 4 小时前AI 评分34
用蒸馏最优传输实现少量配对数据下的跨模态表征对齐
Representation Alignment from a Few Paired Data via Distilled Optimal Transport
AI 导读
一种蒸馏最优传输方法仅需 N ~ 100–500 对配对样本，即可对齐两个独立预训练的单模态编码器。它以与锚点的相似度建立共同坐标系，在全部数据池上求解单一熵最优传输问题匹配两个点云，并把传输计划蒸馏为两个轻量编码器，使对应关系可归纳；未配对数据可独立采样。在 Flickr30k、MS-COCO 和 ChEBI-20 的图像-文本与分子-文本对齐上，同锚点预算下优于现有方法。
来源：arXiv cs.AI · arxiv.org