Mind the Tail：通过稀疏概念进行数据选择

研究用稀疏自编码器（SAE）从单张图像提取概念激活，在选择时累计数据集级概念支持并对该分布施加递减收益，把重心移向尾部概念。在细粒度分类、虚假相关、通用图像分类与多模态预训练基准上，该方法一致优于强数据选择基线，并提升了对分布外与虚假上下文的鲁棒性。研究将概念支持而非单样本重要性视为数据高效且鲁棒学习的原则。