跳到正文
原文
arXiv cs.CV· Shuyang Jiang, Fucheng Deng, Yuchuan Luo, Zhenyu Wu·· 8 小时前AI 评分38

超越层级:统一多模态模型中的位置级梯度冲突与位置感知调制 PAM

Beyond Layers: Position-Resolved Gradient Conflict and Position-Aware Modulation for Unified Multimodal Models

AI 导读

研究提出位置级干扰图与位置感知调制(PAM),把统一多模态模型理解与生成的梯度冲突归因到每层内的视觉 token 位置。该图由单次反向传播算出,成本为标准反向传播的 1.2×,在 Show-o 与 Janus-Pro 上位置解释冲突方差达 partial η²=0.31 和 0.15。

来源:arXiv cs.CV · arxiv.org