新研究《When to Follow the Teacher》：更强的模型未必是更好的蒸馏老师

论文《When to Follow the Teacher》提出，更强的模型并不总是更好的蒸馏老师，关键在于学生能用上什么。作者 Adel Javanmard、Mahdi Sabbaghi、Giappas 等提出基于优势（advantage-based）的在策略蒸馏方法，判定学生何时跟随老师、何时依赖自身信号。