Google Research·· 4 小时前AI 评分
Google Research 提出 sleep 框架,让 LLM 在持续学习中保留知识
Google Research 提出 sleep 框架,让 LLM 在活跃交互与离线记忆巩固之间交替,将短期上下文压缩为长期参数并持续学习。框架通过 MoE 参数扩展、GKD 与 RL 模仿学习巩固记忆,再以随机专家选择、合成样本筛选和 RL 微调进行自我改进。
当前提供 AI 导读,完整正文请阅读原文。
来源:Google Research · research.google