arXiv 论文：把 Transformer 蒸馏进循环架构，固定记忆实现线性复杂度机器人记忆

arXiv 论文提出将经典 Transformer 蒸馏为循环 Transformer，可训练出线性时间复杂度的循环潜在机器人记忆，性能逼近全历史 Transformer。做法是让教师模型把观测历史压缩为固定大小的瓶颈表示，并直接监督学生模型的记忆。该方法面向长时程流式视觉与机器人场景，作者认为循环模型性能落后源于学习难度而非架构限制。