测试时计算为何可能重塑 AI 推理

摘要

30 秒看懂

Matthew Berman 回顾测试时搜索、奖励模型、o3 预览版在 ARC-AGI 上的表现，以及扩散模型研究。他引用芯片企业高管的预测，认为推理市场可能变得很大，并披露自己投资了 Groq。

1推理时使用计算一篇 DeepMind 论文研究如何分配固定的测试时预算，并发现最佳策略取决于任务。
2为步骤评分过程奖励模型可以评估中间推理步骤，结果奖励模型则评估最终答案。
3准确率有成本o3 预览版在 ARC-AGI-1 上投入更多计算后表现改善，展示了准确率与成本之间的权衡。
4更便宜的计算与需求Jonathan Ross 认为成本下降可以催生新用途，但总支出增加并无保证。
5超越语言模型一篇扩散模型论文研究由验证器引导的推理时搜索，而不只增加去噪步骤。

要点建议

测试时扩展为一次回答分配额外计算，包括搜索、采样和验证。
过程奖励模型评估中间步骤，结果奖励模型则评估最终结果。
o3 预览版在使用大得多的计算预算时，ARC-AGI-1 得分有所提高，成本也大幅增加。
计算成本下降可能刺激需求，但总支出上升是预测，并非必然结果。
扩散模型研究探索由验证器引导的搜索，而不只是增加去噪步骤。

主题AI research 模型与训练 AI cost & performance AI Strategy

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

测试时计算改变了什么

Berman 介绍在回答问题时投入计算的思路，并引用有效分配预算的研究。

测试时计算可能是 Transformer 问世以来 AI 领域最重要的发展之一。系统不必总是立即给出第一个答案，而可以在响应时投入更多计算，例如生成候选答案、评估它们，或逐步解决问题。我认为推理市场最终可能比预训练市场更大，但这只是预测，而非已经确立的结果。

Google DeepMind 的论文 [Scaling LLM Test-Time Compute Optimally](https://arxiv.org/abs/2408.03314) 研究了这样一个问题：面对困难提示词，语言模型获得固定但有意义的推理时预算后，性能能提升多少？实验表明，如何分配预算很重要；在某些情况下，将算力用于较小模型可能比单纯增加模型参数更有效。OpenAI 的 o1 和 o3 预览版让这种方法受到更多关注。

采样、奖励模型和搜索

视频比较结果奖励与过程奖励，并解释 best-of-N、束搜索和前瞻搜索。

人们面对难题时往往会花更多时间，先考虑不同方案再确定答案。这个类比有助于解释为什么语言模型在测试时增加计算可能有用，但不能把模型机制与人类思维混为一谈。它也启发了推理和智能体任务的可能应用。

一种方法是 best-of-N 采样：生成多个不同的候选回答，再用经过训练的验证器或奖励模型选出一个。选择机制很重要，因为系统必须判断哪个候选最好；仅仅生成更多可能性，并不保证得到正确结果。

结果奖励模型判断最终答案是否正确。过程奖励模型则评估中间步骤。如果一个六步解答的前四步有希望、最后两步出错，基于过程的方法就可以保留有用部分并寻找更好的后续步骤，而不是把整次尝试一律视为同样糟糕。

幻灯片 1 / 3结果奖励与过程奖励一个解题示例对比了给整个答案评分和逐步评判的区别。

利用这些评估进行搜索有多种方法。Best-of-N 生成完整答案，再从中选择。束搜索扩展可能的下一步，对其评分并保留最有希望的部分路径，然后重复这一过程。前瞻搜索则通过向后续步骤进行试探性展开来调整每一步的评估，再回到当前节点选择方案。

幻灯片 2 / 3三种搜索方法图示比较了 best-of-N 采样、束搜索和前瞻搜索。

o3 预览版与 ARC-AGI

o3 预览版在低、高计算预算下取得不同成绩，额外性能伴随着高昂成本。

OpenAI 的 o1 展示了推理时扩展为何受到如此多关注；o3 预览版将这一思路进一步推进。ARC-AGI 要求模型解决陌生的视觉模式任务，许多人能理解这些任务，但早期 AI 系统难以解决。其结果既展示了额外计算的潜力，也反映了使用这种方法的成本。

在半私有 ARC-AGI-1 评估中，[ARC Prize 报告](https://arcprize.org/blog/oai-o3-pub-breakthrough)，低算力配置的 o3 预览版得分为 75.7%，高算力配置得分为 87.5%，后者使用了约 172 倍的算力。我估计后者成本达数十万美元；具体估算取决于定价假设。这是特定基准和预览系统的结果，并不能证明增加计算总会改善每一项任务。

幻灯片 3 / 3o3 预览版的 ARC-AGI-1 结果图表比较不同测试时计算配置下的表现和成本。

推理市场

Lisa Su、Jensen Huang 和 Jonathan Ross 分享对推理需求的看法。Berman 披露自己投资了 Groq。

AMD 首席执行官 Lisa Su 曾表示，推理市场将比训练市场更大。在一段视频中，她介绍 AMD 的 MI300 针对大语言模型推理设计，并说企业将从思考如何训练模型转向运行模型。这是来自一家销售相关硬件的公司高管的预测。

在 2025 年 CES 上，NVIDIA 首席执行官 Jensen Huang 描述了扩展 AI 的三种方式：通过数据、模型规模和计算进行预训练；使用强化学习、人类反馈等技术进行后训练；以及测试时扩展。最后一种关注系统回答问题时分配多少计算，而不只是改变模型参数。

Huang 的例子包括将问题分解为步骤、生成多个想法并评估哪一个最好。他也将更多算力需求视为 NVIDIA 硬件需求的来源。因此，AMD 和 NVIDIA 都在他们讨论的推理市场中拥有商业利益。

Groq 首席执行官 Jonathan Ross 也预计推理市场将远大于预训练市场。我是专注推理芯片的 Groq 的投资者，也认为这一机会可能很大。如今更长时间的计算可能很昂贵，但芯片投资和其他创新或许能降低完成一定量推理的成本。

效率与杰文斯悖论

更便宜的计算可能让更多应用具备经济可行性。Ross 预测成本大幅下降、支出大幅增长。

成本下降会让市场萎缩吗？Ross 引用杰文斯悖论：更高效的蒸汽机让更多煤炭用途在经济上变得可行，因此即使每项活动需要的煤炭减少，总消耗量仍可能增加。同样，更便宜的 AI 计算可能让此前成本过高的应用变得有利可图。

Ross 认为，历史上计算成本大幅下降的同时，总使用量和支出却在增长。他预测未来十年生成式 AI 的计算成本将降低至千分之一，而支出将增长至一百倍。这些是他对历史的宽泛判断和对未来的预测，并非必然结果：总支出是否增长取决于需求对降价的反应有多强。

扩散模型的推理时扩展

一篇论文探索由验证器引导的图像生成搜索。Berman 最后将推理列为值得关注的研究领域。

这一思路不限于语言模型。Google DeepMind 在 2025 年 1 月发表的论文 [Inference-Time Scaling for Diffusion Models beyond Scaling Denoising Steps](https://arxiv.org/abs/2501.09732) 研究了如何为扩散模型投入额外推理计算，其中包括图像生成。这将测试时算力分配的讨论扩展到另一类生成系统。

扩散模型通常从噪声开始，逐步去噪。增加去噪步骤可以提高样本质量，但收益往往会逐渐趋于平缓。论文探索了除了单纯增加去噪步骤之外，如何使用额外计算。

所提出的框架结合了验证器和搜索算法：验证器评估生成的样本，搜索算法利用其反馈寻找更好的候选。作者报告说，在实验中生成表现有所改善；结果取决于验证器和搜索方法，而不是表明图像模型真的像人一样思考。对于想判断下一步该关注哪些 AI 研究的人，我认为推理时方法值得密切留意。