跳到正文
原文
arXiv cs.CV· Chenge Li, Yefei He, Xinyu Liu, Feng Chen, Hong Zhou, Bohan Zhuang·· 3 小时前AI 评分31

MixTok:结合全局 1D Token 与稀疏 2D 精修的自适应视觉分词器

MixTok: Adaptive Visual Tokenization with Global 1D Tokens and Sparse 2D Refinement

AI 导读

MixTok 是一种混合视觉分词器,用紧凑的 1D 全局表示搭配稀疏 2D token 做局部精修。内容自适应 router 按精修优先级对候选位置排序,在目标平均 token 预算下决定每张图分配的 2D token 数量,并在最高分位置用 2D token 特征替换由 1D 表示恢复的空间特征,再由共享 decoder 重建图像。

来源:arXiv cs.CV · arxiv.org