睡眠框架:大型语言模型在持续学习中保留知识的新途径
22 小时前 2 阅读来源:research.google
AI 中文改写
原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接
大模型部署之后就不再“长记性”,这个困扰AI行业已久的问题,谷歌研究院给出了一个新解法。近日,谷歌研究团队提出名为“睡眠框架”(sleep framework)的持续学习新范式,灵感来自人类大脑在休息时如何加工和巩固记忆。简单说,就是让大语言模型像人一样拥有“作息周期”:白天干活、接收新信息,夜间“睡觉”把白天学到的短期知识固化进模型参数里。研究团队称,这一机制能让模型持续获取新事实、记住长达1000万token的长上下文内容,并提升复杂推理能力。
问题的根源在于当前大模型的两种知识更新方式各有硬伤。一是直接拿新数据继续训练,但这会触发“灾难性遗忘”——学了新任务,旧任务的表现就大幅退化,这是持续学习领域的经典难题。二是依赖上下文学习(ICL),也就是把新信息塞进对话窗口让模型临时参考,但一旦会话结束,这些短期信息就烟消云散,模型的知识截止日期依然纹丝不动。谷歌的睡眠框架试图在两者之间找平衡:模型在活跃交互阶段接收新信息,在离线阶段进行“记忆巩固”,把脆弱的短期上下文转化为稳定的长期参数。这相当于给模型设计了一个持续运转的学习生命周期,而不是训练完就冻结。对跨境电商卖家和AI应用开发者而言,这意味着未来模型有望在不重新训练、不丢失旧能力的前提下持续吸收新知识,比如平台规则变化、新品信息、市场动态,都可能被模型“记住”而非每次靠提示词临时灌输。不过该研究目前仍处于框架提出阶段,距离产品化落地还有距离,但其思路为破解大模型“部署即过时”的困局提供了一个值得关注的方向。
这篇文章对你有帮助吗?
觉得有用?分享给更多人
留言 · 0 条
暂无留言,来说两句吧
