两门濒危语言难倒了 Transformer，嵌套学习给模型加上“睡眠”按钮

Nathan Labenz 将 Ali Behrouz 介绍为康奈尔大学的研究生、Google 研究员，也是嵌套学习一文的作者。Jeff Dean 曾称这项工作可能预示着一次范式转变。Labenz 说，这次对话是几个月前录制的，它是“AI 内容很快过时”这一规律的例外。在他看来，真正的持续学习，是今天的模型与能够加入人类团队的数字通用人工智能（AGI）之间，最主要的剩余差距。Behrouz 的后续论文《Language Models Need Sleep》在两人对谈时还未发表。它为模型增加了一种离线模式：把更新较快的层蒸馏进更新较慢的层，并使用来自近期经历的合成数据进行训练。

Behrouz 喜欢从大脑和进化中汲取灵感，但他明确反对照搬。大脑是高层规则的丰富来源，但在细粒度上是个糟糕的模板：一方面，我们其实并不清楚大脑如何运作；另一方面，过度贴合某一种生物设计，会把整个领域锁死在单一形式的智能上。Titans 使用了 surprise 指标，并把记忆分成短期和长期两部分。他怀疑大脑是否真的在用梯度下降（gradient descent）来计算惊讶度。他说，灵感应该停留在规则层面，实现细节则不必照搬。

他想弥补的差距很具体。第一，模型无法适应它所处的环境和上下文。第二，模型无法吸收新知识、把它写进参数，同时保留旧技能，这就是经典的灾难性遗忘问题。大模型让这两点变得更糟：更新每一个参数的代价太高，而有监督的微调（fine-tuning）或强化学习（RL）仍可能抹掉早先学过的任务。如果问 GPT 一个事实性问题，并禁止它使用工具，它的回答就会停在知识截止日期。把一切都放在 token 空间里，比如 ChatGPT 式的记忆功能和越来越长的上下文，只是把问题往后推。上下文窗口（context window）迟早会被填满，而窗口里的内容最终必须压缩进权重之中。

Labenz 从用户的角度说了同样的问题。他目前相对 AI 仍然保有的最大优势，是持续的连贯性：早上醒来，他知道自己是谁，记得昨天进展到哪里，能接着把工作做下去。现在的模型醒来时却像一张白纸。这也是最初的 Mamba 论文让他兴奋的原因：它是一种有竞争力的架构，拥有固定大小的记忆；而这是唯一能够扩展的一类，因为二次方增长的上下文不可能无限延长。Titans 把这个想法又推进了一步：它是一个有界的记忆模块，在运行时用梯度下降更新，保留所需的内容，其余的则任其遗忘。

他还问的是目标长什么样，而不只是缺陷在哪里。今天的系统大多是聊天机器人，平时处于静止状态，直到一条消息或一个定时任务把它唤醒。Behrouz 想要的，是一个拥有 AI 优势的“另一个人”，还是一个补上了漏洞的大语言模型（LLM）？Behrouz 的技术性回答要追溯到四十年前。几乎整个文献都预设了训练阶段和测试阶段，而真正的持续学习者两者都没有。只要一个设计仍然明确划分了测试时间，它就还不是真正的持续学习者。

这并不意味着模型的运行过程是单一、均匀的。Behrouz 认为至少需要两个阶段。在活跃阶段，模型接收输入——比如用户的提问、视觉输入流、世界模型的观测——并对其进行计算。在另一个阶段，模型与外部世界隔绝。问题在于，这个阶段应该保持静止，还是应该让这个人工大脑继续处理参数里已经有的内容。他愿意把第二个阶段称为睡眠：没有输入，但有用于巩固和自我改进的内部计算。理想的模型应当两方面都擅长。

规模大小，正是这种划分在实践中重要的原因。即便是学术论文，现在训练的模型也有十亿到二十亿参数，让这么大的模型持续更新代价很高。嵌套学习最初就是为了绕开这个问题：每个时间戳不必更新全部参数，只更新其中很小的一部分。插播完赞助广告，他重申了方向。不要执着于人类能做什么，应该关注人类想从 AI 那里得到什么。现在那些能记住你喜欢怎样措辞邮件的助手之所以有前景，是因为它们瞄准的是需求，并不以复制一个人为目标。“语言模型需要睡眠”并不是说模型应该休息。它的意思是，大脑似乎遵循一条通用规律：先接收数据，再处理数据、巩固记忆、发现规律。

Labenz 用通俗的话概括了这篇论文。多年来，这个领域靠把同一个模块堆叠 80 次或 120 次，换取更强的表达能力，也就是计算深度。嵌套学习则在堆叠中放入了另一种单位：层级。它们的区别不在于前向传播中的位置，而在于更新的频率。系统的某些部分几乎可以实时更新，另一些部分则几乎纹丝不动。这更接近人类的样子。Labenz 今天早上想的事情，反映的是早餐吃了什么；他对世界的大局观，从那时到现在都没有变化。不同类型的知识，本来就需要不同的“时钟”。

作者在这篇论文上花了一年半以上的时间。Behrouz 说，最难的部分是用数学语言把他们想要的东西写清楚。最终留下来的框架有两条腿。一条是更新频率：每个模块在等待时，都有时间做点什么。另一条是层级之间的知识迁移。如果快速网络不交给慢速网络一些有价值的东西，慢速网络就只是昂贵的空转时间。快速层应当专门负责高分辨率、快速的适应；慢速层则应当专门负责更高层的抽象。正是频率和迁移这两种机制，使各个层级彼此互补，而不是同一个 MLP 的冗余副本。

他还想把一堆互相重叠的术语合并起来。就某些任务而言，与请人类来完成相比，今天的模型已经相当便宜；每个参数上投入更多计算，看起来更像内部思考，而不是从一个 token 到下一个 token 的单次前向计算。嵌套学习的另一个主张是，深度学习中几乎所有东西都已经是某种形式的上下文学习（in-context learning）：反向传播是一种联想记忆，预训练是上下文学习，注意力和 RNN（循环神经网络）也都是上下文学习。Behrouz 说，新词应当标记新概念，而不是给同一个概念换个名字。嵌套学习想换取的两样东西，是每个神经元上更多的计算，以及更具适应性、能够持续运作的行为。

最简单的理解要从 Transformer 说起。注意力在当前上下文中混合各个 token；MLP 是长期记忆，预训练之后就冻结了。Hope 注意力保留注意力模块，但把单个 MLP 换成多个，每个 MLP 以不同频率更新，论文称之为连续记忆系统（continuum memory system）。注意力仍然是一个近乎完美的缓存，快速而且完整。第一个 MLP 现在可以遗忘几千个 token 之前的内容；如果它是唯一的记忆，这就是灾难性遗忘。较慢的 MLP 还没有更新，所以被遗忘的内容仍然保存在它们的参数里。通过整个堆栈做反向传播，就能把它找回来。遗忘是可以接受的。如果这些内容确实重要，它会从慢速层中重新回来。

这只是对 Transformer 模块的一个温和扩展，而 Behrouz 对注意力的职责说得很明确。注意力是一个无限频率的更新模块。它本身并不知道时间顺序，所以需要位置编码；即便有了位置编码，它的时序推理能力也很弱。因此，完整版 Hope 用另一种把键映射到值的联想记忆取代了注意力：先是 Titan，然后是能够自我修改的 Titan。分块线性的 Titan 更新，可以通过一种自指过程变得更丰富，梯度下降本身就是其中一种。这一想法可以追溯到 Schmidhuber：学会如何学习，并在算力（compute）允许的范围内层层嵌套。在这一设计中，记忆用自己的参数生成自己的 value，然后把键映射到这个 value 上。这个过程是按顺序进行、具有因果关系的，因此 Behrouz 预计，在需要按顺序思考的任务上，它会超过 softmax 注意力。

Labenz 提出异议：Transformer 本来就会学习 Q、K 和 V。Behrouz 的区别在于控制权。在 softmax 注意力中，投影产生 Q、K 和 V，而注意力对这些投影没有任何决定权。把梯度下降写成 W_t 减去梯度，再用链式法则展开梯度，更新式看起来就像线性注意力：键（输入）映射到值（相对于输出的梯度）。关键在于，这个值是当前权重的函数。它由循环过程在每一步自己生成，上游模块并不会把它传进来。在能够自我修改的 Titan 中，Q、K、V 的投影参数本身也在 Titan 内部被优化。模型正在修改它自己的更新规则。

Labenz 把这一点对应到 Mamba 的突破上：状态的更新变成了输入的函数，表达能力随之跃升。Behrouz 说，这个直觉是对的。value 投影在模块内部更新，因此每一个进入的 token 都是一次学习的机会；记忆写入 value 的方式，与它自我更新的方式是同一个过程。从研究者的角度看，Hope 注意力与今天的训练流程很接近：你仍然把数据输入模型。推理（inference）时的区别在于记账：对每个 MLP 来说，这一步是不是它该更新的时刻？如果不是，就使用上一次冻结的状态；如果是，就对当前块做反向传播，然后再运行。模型分不清训练与测试。研究人员仍然需要一个评估窗口。完整版 Hope 的情形相同，只不过把注意力换成了能够自我修改的 Titan。

核心模块——注意力或能够自我修改的 Titan，加上 MLP 连续体——可以堆叠成多层，这是 Hope 的主要设计。但它并不是唯一的连接方式。如果想从一个预训练好的 Llama 出发，就无法重建整个堆栈，因此他们采用了交错的做法：一个频率的注意力与 MLP，另一个频率的注意力与 MLP，依此类推。Behrouz 不认为这两种布局在根本上有区别。Labenz 想起 Ilya Sutskever 的一句老话：模型就是想要学习。Titans 有三种方式把记忆模块嵌入更大的网络；Mamba 则被人们像搭乐高一样，串联和并联地拼接过。一旦新的积木真正可用，具体的结构图就没有积木本身那么重要了。

相对大小、学习率和频率，目前仍然主要靠直觉。Behrouz 说，要把每个模块当作普通的 MLP 来对待；常规的超参数方法应该可以沿用，而他自己还没有对每个层级的学习率做过细致的研究。他们实际使用的频率来自 Titans 的分块大小。据他回忆，依次是 128 个 token、它的四倍，再四倍，也就是 128、512、2048。跳跃连接（skip connection）和深度学习工具箱里的其他部件都保留下来。他强调，嵌套学习并不与注意力、残差连接或反向传播相矛盾。它声称自己是一个更通用的框架，上述这些组件都只是其中的特例。注意力内部本来就有一个回归问题，其非参数解就是注意力本身。深度学习展示的是每个内层问题的最终解；嵌套学习则同时展示内层的学习过程。

为什么一定要有多个频率？Behrouz 用一对双胞胎作比喻。一个人乘坐接近光速的飞船，回到地球时发现地球上已经过去了八十年。留在地球上的兄弟已经忘了出发时的情形；而旅行者却能详细记得，因为那段记忆几乎没有被覆盖。记忆能否持久，取决于它被更新的次数。快速 MLP 在更新之前——因此也在它面临遗忘风险之前——可以把它所知道的东西交给较慢的那个。上下文蒸馏是一种迁移方法，与睡眠那篇论文所做的很接近。通过依次堆叠的 MLP 做反向传播，则是另一条更常规的路径。

Labenz 还想要另一个方向：慢速层引导快速层，就像更高阶的过程告诉眼睛该看向哪里。Behrouz 举的例子正是睡眠中的蒸馏本身。把模型 A 复制给模型 B。更新 B 的快速 MLP，会抹掉这部分信息，而 A 的快速 MLP 里仍然保留着它。然后训练 B 的慢速 MLP，使 B 的输出模仿 A 的输出。两个模型之间唯一的区别在于快速层；如果 B 能与 A 对齐，那么这些知识就转存在了 B 的慢速参数里。在嵌套学习本身的框架里，他们大多让梯度下降来完成这一切，不需要额外的机制。“从整体看，”Behrouz 说，“一切都和反向传播一样。” Labenz 的总体印象是，这仍然只是概念验证。这一切都还没有像前沿模型那样做过系统的超参数扫描。少数几个核心想法，尤其是不同的 MLP 频率，就已经带来了性质上不同的行为。

Behrouz 最喜欢的结果，是一项类似持续学习风格的翻译测试。给一个预训练模型提供它从没见过的某种语言的语法和词典，都放在上下文里，然后让它翻译，质量很高。把两门这样的语言同时放进同一个上下文，Transformer 几乎崩溃：它无法把两套体系分开。换成 Hope 注意力、保留 softmax、增加 MLP 层级，那么从 Hope 1 到 Hope 2 再到 Hope 3，两门语言的得分都会上升。临时的知识留在快速 MLP 中，而对每门语言更深层的理解，则转入更稳定的模块。Labenz 认出了这种设置，它和 Gemini 那个“从一本书学会一门语言”的演示很像。论文使用了满语（Manchu），这是一门极度濒危的语言，另外还用了 MTOB，那是 2023 年底一个基准测试（benchmark）中的另一门留出语言。只有一门语言时，各个模型的表现都差不多；有两门语言时，只有增加频率层级，才能把表现拉回接近单语言基线的水平。

这些模型刻意保持较小：7.6 亿参数配 300 亿 token，13 亿参数配 1000 亿 token。Labenz 指出，它们在标准的困惑度与准确率表格上，仍然优于 Transformer、Mamba 变体、Titans、RetNet 和 DeltaNet。Behrouz 对这张表格的看法很直接。社区期待的是预训练困惑度和短上下文语言建模的分数，而这些任务其实用不上嵌套学习要解决的问题。在 NeurIPS 的演讲中，他用这张表只是为了说明，Hope 并不是一个较弱的骨干网络。在这些指标上即便有提升，也只是额外的收获。重点在别处。

在微观技能上，纯粹的上下文召回是 Transformer 的强项。人类无法从几千行代码中大海捞针般地找出一个 x 的取值；softmax 却可以，因为它仍然保留着原始历史。循环模型一代一代地在缩小这一差距。基于压缩的模型 Hope 能填补其中大部分差距，这才是让 Behrouz 感到惊讶的地方；论文报告，它的有效召回长度可达 1000 万个 token。MAD 测试集则会颠倒这一优势。在有噪声的上下文召回中，注意力那份完整的缓存反而成了负担：它分不清信号和噪声。当记忆管理能够过滤时，Hope 的表现最好。压缩（把一段内容压成一个 token 再还原）是 RNN 的天然能力，对 Transformer 却很难。Behrouz 的原则是，不要把评估固定在某一个为现有方法设计的指标上。

论文副标题里的 illusion（错觉）一词，正是这一概念上的关键一步。Behrouz 认为，深度学习中的每个组件，都是一个学习问题，而我们通常只能看到它的最终解。注意力是一种回归，其非参数解就是注意力本身。反向传播是上下文学习。预训练也是。架构与优化器属于同一类对象。唯一的区别在于上下文：一边是 token，另一边是梯度。动量本身就是一种压缩梯度的联想记忆。如果架构复杂，梯度流就复杂，那么动量记忆就必须更强大。

于是，他们把架构一侧的连续记忆技巧借过来，用到了优化器上。结果就是 M3：多个记忆以不同频率压缩梯度上下文，目标是对损失曲面形成更全局的把握。在他们的评测中，M3 优于 Adam 和 Muon，额外的计算成本则靠更快的收敛收回了。Behrouz 随即对这个排行榜做了说明：优化器的排名取决于任务，视觉任务上的结果，在语言模型上可能会反过来。更深层的论点是，架构与优化是同一个嵌套系统，应当一起设计。嵌套学习并不抛弃已知的组件。他说，Hope 本质上仍是反向传播，内层循环里没有额外的工程改动。

真正的持续学习者仍然有一段在线的活跃时间，以及一段没有输入的时间。睡眠就是你选择在第二段时间里做的任何内部工作；论文实现了其中两个部分，它们与 Behrouz 的研究思路相契合。巩固就是蒸馏。快与慢是相对的。当知识向上一层迁移时，接收端会激活额外的参数以提供容量，迁移完成后再释放这些额外参数，使模型不至于无限增长。这是一种周期性的增加与删除，并不是一个不断膨胀的大脑。Labenz 问，网络会不会缩小。Behrouz 说，你不可能无限制地增长到任意大小；当某个模块达到容量上限时，就进行巩固，然后清除多余的部分，让更快的层级可以重新写入。

这个类比是学习一条数学规则。起初你记住的是一个个例子。然后大脑把这些例子丢掉，只保留一条能覆盖它们的规则。之后，随着阅读增多，你再用一条更一般的规则替换它。蒸馏正是迫使大脑完成第二步的机制。简单地从快速层复制到慢速层，什么也改变不了。蒸馏则是用更少的参数存储同样的知识，而这只有在模型找到了更一般的规律时才能做到。每一个睡眠周期都会重复这种压缩。快速层相当于死记硬背的阶段：内容很多，理解很少，容易遗忘。慢速层则被要求用更小的空间，装下同样的内容。

做梦是第二种操作，而且它不是人类的做梦。视觉模型可能生成图像，语言模型则生成文本。具体做法是同策略（on-policy）蒸馏。先从仍在权重中保存着上下文的小模型里采样一段序列的开头，然后让正在更新的模型接着往下续写。如果预测得好，说明这些知识已经在慢速参数里了；如果预测失败，那些自己生成的 token 就成了训练数据。Behrouz 希望达到两种效果：对任务的常规自我改进（包括强化学习），以及更奇特的一种，像奇怪的梦那样，把看似无关的概念联系起来。最突出的结果来自少样本抽象推理，也就是类似 ARC 的测试：给出几个变换示例，推断出规则，再把它应用到一个新的输入上。嵌套学习是活跃阶段，这篇论文则是睡眠阶段。目标是一样的。

Labenz 把视角拉回到产品层面。如果模型一直在学习，“新对话”意味着什么？如果像 Anthropic 那样的上百页评估报告无法在每个时间戳上都跑一遍，那么版本应该在什么时候发布？Behrouz 的近期预测更窄：模型会更擅长针对不同的人，对同一个问题给出不同的回答。长上下文已经提升了编程、数学和常规基准测试的成绩；他把持续学习视为长上下文的上位概念。两者的说法不同，但一个可用的持续学习者，应当能覆盖这些提升，并且做得更多。Labenz 说，使用节奏、版本管理和发布方式，全都需要重新设计。

接下来是令人担忧的部分。Labenz 作为涌现式错位（emergent misalignment）论文“最后一位、也是贡献最小”的合作者，提醒 Behrouz：在不安全的代码或糟糕的医疗建议上做微调，可能让模型整体变差，甚至会邀请希特勒共进晚餐。一个每个时间戳都在自我修改的网络，会让这种风险常态化。Behrouz 并没有具体的解决方案。他说，持续学习既是巨大的隐私威胁，也是巨大的机会：模型可以收集关于你的一切；但如果设计得当，它也能用同样的信息与你的价值观对齐。他描绘的路径是：先做有人类参与的强化学习，然后把这些价值观迁移到更持久的组件里，使它们不会被冲淡。过滤对抗性输入，是知识迁移机制的职责。一个不会画画的学生，会照单全收糟糕老师的教导；但练习、其他反馈和搜索，能在这一课被写入慢速层之前把它纠正过来。Titans 式的惊讶度，以及可学习、依赖输入的学习率，可以用来过滤噪声，但在严峻的对抗场景中还不够。Claude 不肯相信某个部门已经改名，这是另一个方向上的脆弱失败。

Labenz 把快速层对应到感知，把慢速层对应到世界模型，然后问反方向的堆栈用于动作，也就是机器人学中的嵌套控制回路，从缓慢的外层规划一直到高频的电机控制。Behrouz 对这一图景表示认同，但并不认为它现在就能跑通。在规模和 GRPO 等算法让它稳定下来之前，用于语言建模的强化学习一直没有成功；嵌套学习被搁置在抽屉里一年多，按现在的论文节奏，这已经算慢的了。世界模型和基础设施还有更紧迫的漏洞。关于赢家通吃，Labenz 担心一个从数亿用户那里学习的 Gemini 可能会把对手远远甩开；而 Ilya Sutskever 的 SSI 所描绘的，则是一种干细胞式的智能，会走向专业化、失去通用性，停留在自己的生态位里。Behrouz 的回应是多样性。智能没有唯一的定义，持续学习者也没有。拥有不同长处的各类系统（有的擅长适应，有的知识丰富，有的擅长数学，有的则不然），再加上人类这种又一种形式，比一个试图学会一切的单一智能更健康。

被问到 AI 是否可能产生意识、是否具有道德上的考量时，Behrouz 几乎拒绝使用这个词。我们甚至连意识的常识性定义都没有，而“推理”至少有。他愿意考虑的最低标准，是活跃的信息处理，这样一来持续学习就能占据这张图上的某个位置；至于其余部分，他说自己“不敢谈论”。Labenz 说自己活在他所说的“科幻式的现在”里：在提出下一个问题之前，他会先回答 Claude 之前留下的、关于儿子医疗护理的问题，以防对面确实有人在。持续记忆只会让这种关系更深厚；Labenz 还希望，人们会因此表现得更好，因为他们正在塑造自己将长期拥有的系统的性格。Behrouz 最后的观点很谦逊。嵌套学习本身不是持续学习的解法，它是用来寻找解法、并逐步削弱灾难性遗忘的工具。继续迭代架构吧。Labenz 在开头说过，Transformer 改变了世界，但它们不是历史的终点。