arXiv cs.CV· Hyeongheon Cha, Hyungjun Yoon, Sung-Ju Lee·· 4 小时前AI 评分43
越晚越好：分布偏移下 ViT 的 token 缩减
Later Is Better: Token Reduction for ViTs Under Distribution Shift
AI 导读
单参数、后期集中的幂律调度可缩小 ViT 在分布偏移下的 token 缩减精度差距，且不增加推理成本。ImageNet-C 上，DeiT-S 在 26% 计算缩减下弥补 83% 差距（+1.17pp），7% 缩减下弥补 99%（+0.26pp）。增益在 ToMe、EViT、ATS、ATC、PiToMe 五种方法、九个骨干网络及视频、视觉语言 QA 上均成立。
来源：arXiv cs.CV · arxiv.org