Apple《思考的幻觉》：谜题实验的局限与代码辅助测试

Apple 的论文《The Illusion of Thinking》引发了一场关于推理模型究竟在做什么的讨论。我回顾论文的实验、它对基准测试污染和泛化能力的担忧，以及模型表现如何随谜题复杂度变化的发现。

论文研究了在回答之前生成较长推理轨迹的模型，包括 Claude 和 DeepSeek 的不同版本。研究人员质疑，基准测试的进步有多少来自推理、额外推理计算量或可能接触过基准测试材料。我把污染称作模型“作弊”，表达的是对可能接触过材料的担忧，并不能证明某个模型有意接受过某项测试的训练。

现有的数学和编程基准测试通常报告最终答案准确率，因此难以系统地改变复杂度或检查中间尝试。论文提出使用规则一致的可控谜题，并通过模拟器检查，使研究人员既能研究解法，也能研究推理轨迹。

四种环境分别是汉诺塔、跳棋跳跃、过河和积木世界。在汉诺塔中，圆盘必须一次一个地在柱子之间移动，不能把大盘放在小盘上。增加圆盘、棋子、过河对象或积木，可以改变问题复杂度，同时保持基本规则。

作者认为，这些构造出的环境有助于应对污染方面的担忧，并支持精确验证。他们研究的问题包括模型能否泛化、表现如何随复杂度变化，以及在相同推理预算下推理模型与标准模型的表现如何比较。

论文讨论了此前在 MATH-500 和 AIME 2024 上的比较，随后报告了作者自己在 MATH-500、AIME 2024 和 AIME 2025 上的比较。作者说，在较新的 AIME 测试中表现差距更大，并考虑了真实推理优势和污染程度差异两种可能解释；他们没有确定哪一种造成了差距。

其中一种比较使用 pass@k，考察在计算预算内生成的多个候选答案中是否至少有一个正确。我把它描述为选择最佳解法，但这一指标实际上是上界评估：在实际使用中识别正确候选答案，需要合适的验证器或选择方法。

谜题图表比较了开启和关闭思考模式的 Claude 3.7 Sonnet，以及 DeepSeek-R1 和 DeepSeek-V3。在实验中，两种模型通常都能解决简单实例；思考模型在中等复杂度下具有优势；复杂度足够高时，两者的准确率都可能降至零。具体门槛因谜题和模型而异。

研究人员为每个谜题实例生成 25 个样本并报告平均表现，也比较了推理 token 预算相近时的结果。这三个阶段来自所选的模型组合、任务和评估条件，并不是说每个模型都会在每个难题上失败。

论文报告，推理 token 的使用量最初随谜题复杂度增加，但在某一点之后，随着表现崩溃而下降，尽管仍有可用的 token 预算。我想知道这是否类似于“放弃”，但 token 使用模式本身不能证明模型的动机。

作者考察了正确和错误的候选解法出现在推理轨迹中的位置。在一些较简单的实例中，他们发现模型较早找到正确解法，随后仍继续探索，他们将此称为过度思考；在中等难度问题中，正确解法更常在后期出现。不同谜题环境中的模式有所差异。

在汉诺塔测试中，研究人员还在提示词中提供了明确算法。他们报告说，这并未阻止模型在大致相同的复杂度处出现失败，表明模型在该设置下执行和验证长序列存在困难。不同谜题类型中，首次出错的位置也不同。

我用 Ilya Sutskever 毕业典礼演讲的一段片段与这场讨论作对照。他预测 AI 最终将能完成任何人类可以学会的事情，理由是人脑是一台生物计算机，并询问为什么数字计算机不能做到同样的事。这是他更广泛的预测，并非 Apple 谜题实验的结果。

作者承认，他们的实验只覆盖推理的一小部分，可能无法反映多样的真实世界任务或知识密集型任务。我同意，仅凭这些谜题上的差成绩，并不能证明模型不会思考：模型在编程和其他领域也展现了能力。

我最大的疑问是，如果模型通过编写代码解决谜题，是否也应算作它的功劳。我要求 Claude 3.7 用 HTML 和 JavaScript 构建汉诺塔模拟程序，支持最多 10 个圆盘并带有求解按钮，没有在提示词中提供算法。

生成的程序用 1023 步完成了 10 盘求解。随后我要求一个 20 盘版本；视频展示了它的运行过程，画面存在一个格式问题，并显示最少需要 1048575 步。片段没有展示 20 盘版本运行结束。

模型写出程序后，程序可以执行算法；这与让模型直接用自然语言列举移动步骤是不同的设置。我询问，借助工具的路线是否应算作解决了问题。这次演示展示了另一种工作流程，而不是直接复现论文的评估。