Google提出LLM持续学习sleep框架
先了解这件事
AI 综述
2026年10月28日，Google Research提出sleep框架，用于让大语言模型在持续学习中保留知识。该框架让模型在活跃交互与离线记忆巩固之间交替，将短期上下文压缩为长期参数并持续学习。其通过MoE参数扩展、GKD与RL模仿学习巩固记忆，再结合随机专家选择、合成样本筛选和RL微调进行自我改进。
报道时间线
10月28日
- Google Research 提出 sleep 框架，让 LLM 在持续学习中保留知识
Google Research 提出 sleep 框架，让 LLM 在活跃交互与离线记忆巩固之间交替，将短期上下文压缩为长期参数并持续学习。框架通过 MoE 参数扩展、GKD 与 RL 模仿学习巩固记忆，再以随机专家选择、合成样本筛选和 RL 微调进行自我改进。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。