arXiv cs.CV· Wentao Zhou, Weijie Gan, Jiayun Wang·· 5 小时前AI 评分33
MATE:面向统一多模态模型的互对抗自训练与演化数据框架
Mutually Adversarial Self-Training with Evolving Data for Unified Multimodal Models
AI 导读
MATE 是基于强化学习的后训练框架,让统一多模态模型的生成与理解分支轮流充当挑战者与求解者、相互对抗。在 Janus-Pro-1B 上,它使 GenEval 提升 2.4 分、DPG-Bench 提升 1.7 分,九个理解基准平均提升 0.7 分。对抗候选来自模型自身输出,无需单独训练对抗器,落败候选转为下一轮挑战,训练在数据空间形成自博弈。
来源:arXiv cs.CV · arxiv.org