微型递归模型与谜题基准比较的局限

一篇名为《Less is More: Recursive Reasoning with Tiny Networks》的论文报告，拥有 700 万参数的 Tiny Recursive Model（TRM）在多个谜题基准上表现强劲。其 ARC 分数超过论文中列出的部分语言模型结果，但这些系统使用不同的训练和评估设置。结果不能证明这个专用模型在一般能力上优于前沿语言模型。

Alexia Jolicoeur-Martineau 的论文报告，其 700 万参数注意力模型在允许两次尝试的条件下，分别在 ARC-AGI-1 和 ARC-AGI-2 公开评估集上取得 44.6% 和 7.8%，四舍五入后为 45% 和 8%。论文中的比较来自其 2025 年表格，并非当前的普遍排名。

语言模型以自回归方式生成答案，错误的步骤或 token 可能破坏解题结果。思维链和更多测试时计算可能有所帮助，但推理过程也可能出错，额外采样还会消耗算力。我因此认为下一 token 模型不具备推理能力，这是个人解读，而非这篇论文所确立的结论。

如果有可靠的选择方法，采样多个答案并从中选取可以改善结果。生成多个答案并不会自动识别出最佳答案。论文探索了另一种方式：在小型监督网络中通过重复计算改进预测答案。

论文建立在 Hierarchical Reasoning Model（HRM）的基础上，后者使用两个以不同频率运行的网络和深度监督。它在数独、迷宫和 ARC 谜题等任务上进行评估。其作者提出了生物学类比，但 TRM 论文质疑这些类比在多大程度上解释了架构的结果。

视频包含 Mocha 的赞助内容，这是一项 AI 应用构建服务。关于构建应用并将其变现的说法属于赞助商声明，而不是全面的独立测试。

深度监督让中间状态经过多个受监督的改进步骤。论文引用的一项早期分析发现，在一次比较中准确率从 19% 提升至 39%，而分层递归的比较使准确率从 35.7% 提升至 39%。这些是特定消融实验，并不能证明递归普遍无用。

作者提出了一个更小的两层网络，反复更新潜在状态和候选答案。论文报告，与其列出的 HRM 基线相比，它在 Sudoku-Extreme、Maze-Hard 和两个 ARC 基准上都有提升。不同任务使用不同变体，因此不能把所有主要结果都归于完全相同的 700 万参数模型。

例如，论文报告 500 万参数的 MLP 变体在 Sudoku-Extreme 上取得 87.4%，列出的 HRM 基线为 55.0%。其 700 万参数注意力变体在 Maze-Hard 上达到 85.3%，并取得前述两个 ARC 分数。这些都是谜题基准，并非广泛语言或现实世界能力的演示。

论文质疑 HRM 的生物学和不动点论证，主张采用更简单的解释。它把一个潜变量视为不断变化的答案，另一个视为潜在推理状态。把它们描述为两个“大脑”或明确的书面笔记只是一种类比；系统不一定会生成供人阅读的推理过程。

网络利用输入和当前答案反复更新潜在状态，然后更新答案。这类似于尝试一个数独步骤再进行修正，但这些操作是学习得到的数值变换，不一定是有意识的反思。递归增加了有效深度，而不必为每一步引入单独的网络。

在实验中，在增加递归次数的同时把网络从四层减少到两层，改善了所测试设置下的泛化表现。作者怀疑过拟合可能解释部分收益，但表示机制尚未完全弄清。两层并未被证明对所有任务或数据集都最优。

论文在数独任务上比较了有效深度相近的递归配置。一些更深的配置耗尽了 GPU 显存，表现也不会随着递归增加而单调变好。参数量小并不意味着训练或推理成本可以忽略。

在论文的 ARC 表格中，注意力版 TRM 得分为 44.6% 和 7.8%，高于列出的几个语言模型，但低于列出的 Grok-4 配置。比较混合了面向特定任务的小样本监督训练和预训练语言模型方法，因此不能视为对通用推理或所有模型能力的同条件比较。

实验细节很重要：论文使用大量数据增强，在 ARC 训练中加入 ConceptARC 示例，并在测试时从 1,000 个增强版本的输出中选择出现次数最多的结果。论文报告 ARC 实验在四块 H100 GPU 上运行约三天。这些条件限制了“完整基准流程可以在手机上低成本运行”的结论。

我把该方法描述为先生成一个猜测，再反复修正，并推测递归可能指向 AGI 或新的缩放规律。这是值得研究的可能性，而不是论文已经证明的结果。作者指出，这些监督模型产生确定性答案，将它们扩展到生成任务仍是未来工作。