谷歌研究院刚发了一篇野心不小的论文，叫《Nested Learning: The Illusion of Deep Learning Architecture》，目标直指大模型的老毛病：学了新的，就忘了旧的。论文的解法是给模型装一套“快慢记忆”：不同部分按不同速度学习。
核心想法一句话就能说清：快变的记忆负责接住新信息，慢变的记忆负责把知识留住，中间再由相互连接的学习过程管着信息怎么更新。论文把这套思路叫做嵌套学习（Nested Learning），还搭了一个验证用的架构 HOPE。
实验结果上，HOPE 在语言任务里跑赢了拿来对照的 Transformer 和循环基线，长上下文记忆的表现也更强。论文里还顺带提了三点配套贡献：把 Adam、SGD 这些常见优化器重新解释成“会压缩梯度信息的联想记忆模块”；一个能自己改自己更新规则的序列模型；一套把长短期记忆推广成连续谱的记忆系统。
不过也要把话说实在：这不等于 Transformer 被判了死刑，持续学习里“灾难性遗忘”和“长对话里跟丢上下文”也是两回事。论文真正想推的方向是，模型在训练结束后还能继续学东西，同时不丢掉以前的本事。
论文全文见 arXiv：https://arxiv.org/abs/2512.24695，作者 Ali Behrouz、Meisam Razaviyayn、Peilin Zhong、Vahab Mirrokni，NeurIPS 2025 版本。
正文完