arXiv cs.AI· Chaofei Hong, Ziyang Chen, Baochen Wang, Christina Yi Jin, Qing Zhang·2026-10-28 12:00· 2 小时前AI 评分36

AC-JEPA：面向视觉到符号翻译的锚定跨模态联合嵌入预测架构

AC-JEPA: Anchored Cross-Modal Joint Embedding Predictive Architecture for Visual-to-Symbolic Translation

AI 导读

AC-JEPA 是兼容 SFT 的插件式架构，用成对数据双向预测掩码中间状态，结合联合嵌入与 token 级监督做视觉到符号翻译。在光学化学结构识别的 WildMol 基准 Simple 集上，其准确率达 76.07%，高于单独 SFT 的 67.40%。相同伪标签数据自训练时，AC-JEPA 升至 80.23%，直接 SFT 从 67.40% 降至 63.47%。

来源：arXiv cs.AI · arxiv.org

#论文/研究 #多模态 #数据/训练