Google Research·· 3 小时前AI 评分46
Google Research 提出 sleep 框架：让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出受睡眠启发的 sleep 框架，让 LLM 通过“清醒交互—离线巩固”循环持续学习，并把短期上下文固化进长期参数。该框架用 MoE 参数扩展、GKD 和 RL 模仿学习减少灾难性遗忘。实验显示模型可保留最长 10M tokens 的长上下文知识并提升复杂推理。
来源：Google Research · research.google