潜在空间推理与递归深度：在预测下一个 token 前增加计算

一篇新的研究论文探索语言模型在预测 token 之前于潜在空间中进行额外计算。许多推理系统通过生成中间文本来增加测试时计算；这里的模型则可以重复运行一个学到的内部模块。模型仍会读取输入 token 并生成输出 token，内部迭代也会消耗算力。

我将这项研究与 Yann LeCun 关于语言模型局限的论点联系起来。在 Lex Fridman 的采访中，他认为规划需要对世界的预测模型，并以物体落下或受推力移动为例。这是他对人类式规划所需条件的看法，并非对每个语言模型的最终定论。

LeCun 的例子是，人们能够预见行动的结果，并规划一系列步骤来达成目标。我理解他的论点是，系统需要超出语言本身所描述的东西。我还指出，这次采访早于近期这一代测试时推理模型的广泛应用。

我认为文字形式的思维链步骤能够令人信服地展示问题求解过程，而 LeCun 提醒说，流畅的语言可能让系统看起来比实际更具一般智能。我承认语言推理仍可能只是语言操作。展示出来的理由不一定完整、忠实地反映模型的内部计算。

在另一段采访中，LeCun 对生成模型能否学到足够好的真实世界表征表示怀疑。我将其与我对行业中关于 AGI 和高级推理的乐观印象作比较。这些预测和立场存在争议；采访并不能证明所有主要公司都认为仅靠语言模型就足够。

论文题为《Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach》。作者对潜在状态反复应用一个共享的递归模块，使输出预测前的计算深度可以变化。我想知道这是否能回应 LeCun 的一些担忧，但论文并未证明模型学到了物理世界模型，也没有解决他的论点。

研究者报告了一个使用 8000 亿个 token 训练的 35 亿参数概念验证模型。他们介绍了如何在测试时改变递归次数，而不一定要生成一长串语言推理。尽管架构允许不同的迭代次数，无限运行并不现实，实验也没有表明更多迭代总能改善答案。

作者认为，这种方法不需要专门的思维链训练数据，可以使用较小的上下文窗口，也可能表示难以用语言表达的计算。这不意味着模型不需要训练数据：它使用大型 token 语料进行了预训练。内存、算力和延迟的比较取决于实现方式和工作负载。

我将潜在计算与人在开口前形成想法的体验作比较，也提到一些人表示自己很少或没有内心独白。这是对没有文字记录的思考的一种类比，并不能证明模型内部状态的运作方式与人类思维相同，或证明它有主观体验。

论文将其方法与训练模型用语言表达中间步骤的方法作对比。我提出疑问：一些较小规模的强化学习演示没有大量完整推理示例，也能引出推理行为。训练方法各不相同，因此不能将这一架构的数据需求当成所有思维链系统都需要同一种数据集的规则。

作者认为，强迫所有中间计算都经过文本形式的下一个 token 可能带来限制，并提到此前的循环神经网络、扩散模型和循环 Transformer。重复计算的想法并不新；这里的贡献是一种特定架构及其扩展实验，而不是发明了模型的内部状态。

论文中的模型可以通过迭代递归模块投入更多推理算力。作者将它与部分参数量和训练数据不同的开放模型比较。性能比较取决于任务和计算条件；论文并未证明这种方法在所有情况下都更高效或优于更大的模型。

论文讨论了复用较小参数集执行额外运算可能带来的内存和加速器通信优势。我将其解释为每个参数完成更多工作，但这不意味着所有工作负载都能装进一张 GPU，也不意味着消除了多设备通信。额外递归步骤仍会增加计算，实际成本取决于部署方式。

作者希望计算密集型架构可以鼓励模型学习通用策略，而非单纯记忆。我将这一期望与模型是否能泛化到训练示例之外的争论联系起来。记忆和泛化都可能发生；这项实验并未解决争论，也没有证明实现了通用人工智能。

架构图从“Hello”这样的输入开始：前置模块将其映射为表征，共享递归模块反复更新状态，最后的模块预测下一个 token，图中以“World”为例。迭代发生在这次预测之前，后续 token 位置也可以进行类似计算。

展示的结果比较了 HellaSwag、GSM8K 和 HumanEval 上的表现与递归次数。随着测试的迭代次数增加，几条曲线有所改善，但部分区间的增益趋于平稳。这些基准支持有限范围内的实证发现，不能证明无限迭代或每增加一步都会改善最终答案。

我还指出不同检查点的结果，它们使用逐渐增加的数据量训练，最高达到 8000 亿个 token。论文结果展示了这个特定模型如何随训练和推理计算变化；不能将其视为每个模型或数据集都具有相同扩展规律的保证。

图 10 展示了 MMLU 类别中高中数学、哲学、逻辑谬误和道德情境等问题的逐 token 自适应退出。研究者在连续预测之间的差异低于固定的 KL 散度阈值时停止，并绘制迭代次数分布。这衡量的是收敛到选定阈值的过程，而非得出正确答案所需的步骤，也不是任务难度的普遍排名。

潜在计算不必排除语言形式的思维链：两种方法可以结合，就像我思考、写下中间结果，再回过头继续研究。这是有用的类比和研究方向，并不能证明模型像人一样推理。最后，我指出作者已发布概念验证模型供其他人尝试。