IT之家 11 月 10 日消息，谷歌研究院于 11 月 7 日发布博文，为攻克 AI 模型在持续学习新知识时遇到“灾难性遗忘”难题，介绍了嵌套学习（Nested Learning）全新机器学习范式。
(资料图)
当前的大语言模型尽管强大，但其知识仍局限于预训练数据或有限的上下文窗口，无法像人脑一样通过“神经可塑性”（Neuroplasticity，指大脑能够根据经验、学习和环境变化来调整自身结构和功能的能力）持续学习新技能而不遗忘旧知识。
若直接用新数据更新模型，往往会导致“灾难性遗忘”(Catastrophic Forgetting)，即学会新任务后，旧任务的性能会严重下降。为解决这一根本性挑战，谷歌研究院的研究人员提出了全新的解决思路。
在发表于 NeurIPS 2025 的论文中，谷歌推出了“嵌套学习”（Nested Learning）范式。该范式从根本上统一了模型架构与优化算法这两个传统上被分开处理的概念。
该范式认为，一个复杂的机器学习模型，其本质是一系列相互嵌套或并行的优化问题，每个问题都有自己独立的“上下文流”和更新速率。这一视角揭示了一个全新的设计维度，允许研究人员构建计算深度更深的 AI 组件，从而有效缓解灾难性遗忘问题。
基于嵌套学习范式，研究团队提出了两项具体的技术改进：
- 第一是“深度优化器”（Deep optimizers），通过将优化器本身也视为一个学习模块，并改进其底层目标函数，使其对不完美的数据更具鲁棒性（一个系统或过程在面对不确定性、变化、错误输入或异常情况时，仍能保持其功能和稳定性能的能力）。
- 第二是“连续体内存系统”（Continuum Memory Systems，CMS），它将模型的内存视为一个由多个不同更新频率的模块组成的光谱，从短期记忆平滑过渡到长期记忆，创建了一个更丰富、更高效的持续学习内存体系。
为了验证上述理论，研究团队设计并实现了一款名为“Hope”的概念验证模型。Hope 是一种基于 Titans 架构的自修改循环网络，它深度集成了连续体内存系统（CMS），能够通过自我参照的过程优化自身内存，从而实现近乎无限层级的上下文学习。
在一系列公开的语言建模和常识推理任务中，Hope 架构的困惑度更低，准确性显著高于现代循环模型和标准 Transformer。
尤其在考验模型长文本记忆能力的“大海捞针”（Needle-In-Haystack，NIAH）测试中，Hope 展现出卓越的内存管理能力，证明连续体内存系统是处理超长信息序列的有效方案，为实现真正能“温故知新”的 AI 铺平了道路。
NIAH 是一种用于评测大型语言模型长文本理解和信息检索能力的基准测试，要求模型从非常长的文本（草堆，Haystack）中精准地找出并回答一个特定的信息点（针，Needle）。
IT之家附上参考地址
