新论文 Where-OPD：让自蒸馏教师知道「该往哪看」而非看得更清

sophiasirko 发布新论文 Where-OPD，在 on-policy 自蒸馏中把注意力位置本身作为特权信息的来源，而不是依赖更清晰的输入。以往方法中「特权版」教师通常来自对图像的更好视角，Where-OPD 反问：如果特权不是看得更清楚，而是教师知道该往哪里看呢。