每美元一百万个 Token：为什么 Noam Shazeer 认为推理算力（inference compute）仍未被充分挖掘

他们并不在最初发明 Transformer 的那栋办公楼里。那栋楼位于查尔斯顿路 1965 号，离这里约半英里；这一栋是新的，近到 Shazeer 开玩笑说，发明的灵气还留在空气里。Effron 从 Gemini 2.0 Flash Thinking 谈起。Jack Rae 说，集中力量推进测试时算力，最初是从推理类任务开始的，也就是数学和代码；当时并不明显，“先想后答”在别的地方是否有用。最早令人愉快的惊喜之一来自创意写作。一个会思考的模型被要求写文章时，会列出几种思路，淘汰弱的那些，修改，最后写出更好的文章；思维链本身读起来就很有意思。

Shazeer 自己说，他一向支持泛化，但起初对数学上的高度关注持怀疑态度，直到他看清评测为何重要。很多改进只要增加参数、多记些数据，就能降低困惑度。高难度的基准测试（benchmark）才能告诉你，模型是不是真的在对难题进行推理。荒唐之处在于它的半衰期。AIME（只看答案）起初仍被视为很有挑战性，也许太难了，然后突然就变得很简单，回头看花在它上面的时间，还有点尴尬。Rae 指出，如果每六个月领域就认定某个基准“还不够难”，那么把一个基准命名为“Humanity's Last Exam”，就是一个危险的标题。

数据泄漏让这条跑步机越转越快。一旦大家开始讨论某个评测，题目就会进入训练语料，除非实验室极其小心，否则每个模型都见过它们。这就是为什么 DeepMind 和谷歌内部仍要在私有评测上投入大量精力，也是为什么其他实验室和 Scale AI 在新考试上的共享工作很重要。Shazeer 自己设定的里程碑，指向的是 Gemini 3.0 写出 Gemini 4.0 的那一刻；更一般地说，是 Gemini X 写出 Gemini X+1 的时候。

Shazeer 说，这些自我强化的循环最值得关注。最重要的一个，是用他们正在打造的 AI 让自己更快地打造 AI。第二个是数据飞轮：人们使用模型，并反馈他们真正在意的东西。第三个是全球范围的热情与资金飞轮，过去几年明显被推了一把。被问到今天身边有多少相当于全职工程师的 AI 时，Rae 指着谷歌结构化的单一代码仓库和成熟的工具链。Jeff Dean 引用过一个数据：内部的拉取请求，已经附带了 AI 生成的错误修复或代码审查。Rae 发现某天这些修复开始陆续出现，于是意识到整条流水线现在能自动应用它们。下一步是更开放式任务上的智能体式编程，他认为一旦库可以在那些构建规则内迭代，就会以阶跃的方式出现。

可验证的领域很容易，其他领域则不然。Shazeer 说，难以检验的工作，要么需要更好的验证器，要么需要更多人类反馈。Rae 观察到，Gemini 模型已经能遵循抽象得多的指令，所以你可以交给它一份宽泛的评分标准，比如风格、有趣程度，以及一堆定性指标，然后用它作为奖励信号，去训练强化学习（reinforcement learning，RL）。一两年前，这套技术栈还显得不可思议地复杂；但实际的路径，往往比研究路线图上画的要简单。与此同时，用户已经用实际行动投了票：一个更强的思考模型刚刚进入 Gemini 应用，并接入了地图、搜索和长上下文，人们愿意掏出手机，等上几秒钟，换一个更好的答案，有时还会一并读那些思考过程。

Rae 的“妈妈测试”是最后的笑点。他说，妈妈们是检验某样东西是否已经走出推特圈、进入真实世界的终极标准。他给母亲演示了一个会思考的模型；母亲问生命的意义是什么，坐下来读答案，接着读思考过程，然后陷入了沉思。在他看来，图像理解加上思考，已经好得出奇，宣传上却仍然比较低调。Project Mariner 是谷歌去年 12 月推出的浏览器智能体（agent），它需要模型不只是扫描屏幕，还要理解杂乱的网站并采取行动。至于文本为什么先出现，Shazeer 给出了一个老生常谈的数学解释：一张图顶得上一千个词，也顶得上一百万个像素，所以语言的信息密度大约高一千倍；而且训练数据要多得多，因为人类时时刻刻都在产生文本，图像却很少。

谈到智能体，Shazeer 的第一个回答总是“让模型更聪明”。他希望控制问题也能得到通用解法，就像他希望智能有通用解法一样，因为用户会发明开发者想象不到的用途——当初没人设想过互联网或计算机会拿来做什么。Rae 不愿给出“六个月还是十八个月”这样的数字。他认为，剩下的很多时间不在核心算法上，而在于在复杂环境中训练、而非一问一答所持续产生的工程成本。自 2014 年加入以来，DeepMind 一直在琢磨两个问题：一个好的智能体，以及一个好的环境。网页界面是一种环境，代码库是另一种；谁定义了一个好环境，谁就能在那里加速智能体研究，而这个选择的分量，不亚于注意力机制、长上下文或强化学习中的任何一次单项突破。

Effron 把 Ilya Sutskever 的公开观点摆到桌面上：测试时算力这一范式，不会一路把我们带到通用人工智能（AGI）；还需要某种相邻的东西。Shazeer 说，他大体同意，但接着给出了另一个理由。大语言模型的每次运算成本已经低于 10 的负 18 次方美元。即便在大模型上也能高效推理，你就能每美元买到超过一百万个 Token，这一点任何人都可以在 Gemini 的价格表上核对。一件便宜的消遣，比如买一本平装书读完，每美元大约只能买到 10000 个 Token 左右，所以推理比阅读便宜约两个数量级，比付钱请人做任何事便宜约四个数量级，比软件工程师便宜六到八个数量级。

这个差距就是未被利用的算力。“每小时五美分请一个差工程师，还是每小时十美分请一个好工程师？”如果价值确实在那里，而他认为确实如此，那么就存在一大块未被利用的 FLOPs，可以拿来让系统变得更聪明。训练更大的模型是直截了当的路，他们也已经在走这条路；但训练成本往往随模型规模的平方增长，而推理只要做得对，就仍然相对便宜。于是现在大家都在通过思维链，以及他们能想出的其他算法，把算力投入推理。Shazeer 预计那里也会出现一条规模化曲线。他说，它能否一直延伸到人们设想中的 AGI 未来，取决于下一次突破是由人类发明还是由 AI 发明；他已经放弃整理车库了，就等着机器人来收拾。

Rae 也不认为测试时算力一路能通到 AGI。在复杂环境中行动，是一项明确的研究投入，他不希望这个范式只意味着“多想一会儿，直到答案出现”。他心中那个“拉马努金式”的目标，是一个想得足够深入、能够创造有用知识、把它吸收，并且数据效率大幅提高的模型——就像那个拿到一本数学教材、把玩其中的思想，然后成为世界级专家的学生。他们还没有到那一步。他确实认为这是一条连续的梯度，而且有一个讨论不足的事实：用强化学习训练模型去思考，本身就在从同样的强化学习数据中榨出更多学习效果。每个任务只吐出几千个 Token 只是开始；他想要的是更像一位研究者在处理开放问题时的思考。

Rae 说，模型开始像研究者那样行事的早期迹象，会是有用的数学，而不是考试分数。FrontierMath 很有意思，因为它较难的那一层指向接近未发表成果的东西，是一条从竞赛题走向真正科学贡献的阶梯。他希望教授们不带讽刺地使用这些工具，然后告诉实验室还缺什么。Shazeer 更深一层的观点是，数学并不需要更多外部数据。牛顿拿了一堆天文观测记录，进了隔离期，然后推导出了物理学；数学甚至更奇怪，因为你几乎从零数据出发，发明出有用的东西。这正是对“AI 最多只能重新学习大家已经知道的东西”这一论断的反证。

Effron 把 Yann LeCun 的批评版本摆给他们：这一代架构不可能产生真正新颖的想法。Rae 承认，有一类发现几乎没人会反驳——在两条互不相交的事实之间做插值。比如在材料科学里，注意到某些性质总是同时出现，就能告诉你哪些新化合物可能具有光伏特性。这种串联本身就能加速科学。他怀疑，插值与新颖之间的界线，将会是一场永久的“打地鼠”游戏。Shazeer 不接这个话：他希望 LeCun 先证明他自己提出过一个完全新颖的想法，然后补充说，他并不想争这个。造出 AI，提高世界的技术水平，帮助人们，这就够了。

Rae 用 15 世纪的地理大发现来打比方。已知的海岸线之外，是一片模糊的远方；少数代价高昂的远航回来时，会带回一点额外的领土，还有一些样子古怪的地图。数学至今仍是这样运作的：少数精英教授提出正确的问题，证明有用的事实。如果一个模型能在浩瀚的空间里持续提出有趣的问题，又不迷失在无趣的分形里，并且能解出这些问题，那么今天强大的数学模型，或许会先变成教授级别，再变成陶哲轩级别，然后是一百万个这样的陶哲轩。把地图补完，让物理和化学建立在有用数学的完整理解之上，将是最伟大的科学贡献之一。两人都认为，难点在于提出问题，而不是解答问题。Shazeer 对解题很有把握；数学是无穷的，因此必须防止模型跑偏。

被问到究竟什么样的文化才能产生突破时，Shazeer 把当前的 AI 研究放在了 15 世纪化学所处的位置：炼金术。没人知道它为什么管用。一个想法冒出来，唯一真正的证明就是去试。你观察、提出假设，有时对，通常还需要更多实验——除非你干脆宣称它因为你那神奇的 XYZ 而有效，然后让你的助手把一只青蛙吞下去。功劳归属纠缠得太厉害，他预计大家最终会放弃，等超级智能来写思想性的文章。谈到 Transformer 本身，他承认，如果当年没在走廊里撞见合适的同事，大家可能现在还在用 LSTM。Rae 当时在伦敦的 DeepMind 旁观，他感觉这些零件已经在四处盘旋：Neural GPU 想取代 RNN，卷积网络到处都是，注意力机制也从翻译模型里飘了出来。总会有人把它们组装起来，就像如果内燃机没有出现，也会有人去改进蒸汽机一样。

他们两种算力文化都经历过。Shazeer 早前在 Google Brain 的那段时间，大多是自下而上的：研究员提出项目，再说服别人分给自己 FLOPs。DeepMind 则更偏自上而下。自上而下的好处是有利于大规模训练和推动合作；自下而上的好处是，把某人拉进你的项目，会增加总资源，却不会把每个人分到的那一份缩小。更深层的问题在于那些打破抽象边界的想法，它们并不适合预算的条目。如果算力只按预训练和后训练来划分，第三类东西就会漏掉。Shazeer 说，谷歌正在把相当一部分自下而上的做法找回来。Rae 说，他当初被请去参加 AlphaGo 项目，作为研究工程师，却看不出为什么有人会在乎一个棋类游戏。自上而下的押注需要有远见的研究负责人，你不能指望每个个人贡献者都看清其影响。

他们现在的做法是双轨并行：一方面有指定的自上而下交付任务，另一方面有相当一部分不受指定的自下而上工作，其元问题是让人们高效——轻量级基线、高信噪比的实验。Rae 经常被打脸：一个无人理会的方向，表现超过了计划中的方案。全力押注大语言模型，本身也是逆潮流的决定，当时只有少数合作者看得清楚，大多数人并不认同。那时候，机器翻译和计算机视觉（ImageNet、那只猫）显得更酷。Shazeer 从没碰过那只猫。语言在他看来已经是地球上最好的问题，早期做大语言模型的人甚至不是语言学家：语言只是通往“万物生成模型”的途中，知识压缩程度最高的一种载体。就在这次录制前一天推出的原生图像生成，是这一押注的另一部分。Shazeer 认为，针对特定任务的“AI 医生”，主要是个价格问题：你愿意为了和医生交谈，每个 Token 付一美元，而大语言模型已经便宜得多，所以专科模型只在你不愿意付那么多钱时才有道理。Rae 补充说，负迁移基本没有出现；如果迁移是正向的，就把它们放进一个大模型，直到服务成本高到承受不了为止。

Rae 改变想法的地方，并不在于一种关于进展很快的模糊感觉。Transformer 论文发表后，即便在 Alphabet 内部，这个架构也花了大约六到九个月，才分散到 DeepMind 的各个项目中；论文发表三个月后，他在假期里自己把它实现了一遍，但采用得很慢。相比之下，测试时算力出现后，几个月之内就有许多实验室在一篇博客之后训练并发布了认真的模型。这是一记警钟：今天 AI 领域的算力更多，聪明人也更多，他 2016 年那种带着玫瑰色滤镜的记忆，低估了这一点。现在的人和当年一样聪明、一样有创造力，只是硬件多得多，人也多得多。Shazeer 的刺更尖锐：车库里的一个孩子，已经拥有超过发明 Transformer 所需的算力。他说，突破所需的算力，比业界的焦虑所暗示的要少。

他过去一年的自我修正更简单：他几乎没怎么接触过强化学习，而它其实相当好。关于开源，Rae 也转变了看法。他过去认为，追赶只是一种虚假的安心感，闭源实验室迟早会重新拉开距离。但这一模式一直在延续。前一天发布的 Gemma 3，在他看来完全令人难以置信；DeepSeek V3 刚问世时，也是一个非常强的模型。开源社区充满热情、富有创造力、人才济济，还有算力，所以他不再认为它们会停止创新。Shazeer 的预测是，闭源与开源之间的质量差距可能会保持很大，而时间差会变得很小。按日历时间算，领先优势还在不断缩小。

Shazeer 不太担心收拾车库，他还开玩笑说，也不太担心全球变暖，理由是 AI 很快就会把碳排放问题解决掉。Rae 家里真正变化的是教育。在大人的看护下，他的儿子和 Gemini 对话，给花园里的植物和蜥蜴拍照，现在还随身带着一本个性化的、准确的百科全书。这个四岁的孩子会使用拉丁学名。在学校，他报告说自己抓到了一只蜥蜴；老师说看起来是只大的，孩子纠正她：“西部栅栏蜥。”然后又补充说，他还见过蓝尾石龙子，并开始解释起来。孩子就像海绵。Rae 认为，把这样的学习与 AI 有效结合，就是人类此前没有过的一种教育，下一代会显得更聪明。

被问到人类是为了什么，Shazeer 的回答几乎是刻意的平淡：如果你想做一件在物质层面真正重要的事，现在就去做，因为将来人类劳动也许在经济上就不再必要了，这只会提高当下的赌注。否则，就做一个好人，去做你在精神上觉得有意义的事。在久远的过去，意义很容易找到——工作，否则家人就会挨饿。在今天的美国，如果你偷懒，家人明天也不会挨饿，所以意义已经变得稀薄；AI 会把这个问题逼得更紧。关于 AGI 的风险，Rae 有一定程度的担忧。历史上很少有这样的例子：造出了远比造物者聪明的东西，却仍然对造物者保持可预测的行为；而突然的就业冲击，需要被缓冲。在内部，有一个独立小组会审查发布内容是否有意料之外的后果，他很高兴有这样一个小组。Shazeer 的版本是一个带着承重前提的玩笑：我们有孩子，他们变得比我们聪明，进入青春期，然后我们解决了对齐问题——前提是互联网上有足够多体现人们尊敬父母的 Token，而且我们别再把机器人推倒。

在他的叙述里，Character.AI 那一段已经算是完成的使命。他离开谷歌，是为了让任何人都能和大语言模型对话，并在 ChatGPT 或 Gemini 出现之前，自己发现它的用途。现在，每个人都在和大语言模型聊天。这个产品之所以落在娱乐上，部分是因为没人解决幻觉问题，而娱乐正是幻觉可以变成卖点的领域。展望未来五到十年，他认为人们始终会想要人与人之间的关系，因为那在精神上更有意义；但以人形出现的 AI，会作为顾问出现，比如一位刚当选的总统配一个私人 AI 内阁，一位效率更高的 CEO，还有让用户觉得亲切的界面，因为用户就喜欢这样。更好的模型承担了大部分工作；剩下的产品问题，是应用究竟允许用户指定哪些东西。

快问快答中，Rae 认为 ARC-AGI 评测被过度炒作。进展缓慢，部分是因为研究者并不受那些具体谜题的启发；DeepMind 在 2015 和 2016 年做了很多这类工作，修复了网格操作的瓶颈，但并没有明显更接近有用的 AGI。他自己从合成任务转向建模自然语言，感觉更像是通往 AGI 的路径。Shazeer 则是另一个方向：AGI 和大语言模型仍然被严重低估。人们还在按某个愚蠢的万亿美元产品来思考；他在别处说过，一万亿已经不酷了，你得说千万亿（quadrillion），还要做出邪恶博士（Doctor Evil）那种翘小指的手势。在应用上，即便批评者称这类应用只是套壳，Rae 也看到了智能体式产品体验的真正价值；他认为，相比其他自动化方向，代码领域现在已经很拥挤了。Shazeer 则认为代码被低估了。人类做得并没有那么好，而自动化的软件工程师，正是构建下一代 AI 的循环之一。

Rae 说，测试时算力的基础设施，比预训练的故事更乐观。如果构建 AI 主要变成推理问题，各方就可以在许多数据中心里获取经验，再把它们传回来，而不需要 100 Gbps 的互连，这本身就更便宜，而且还能进一步优化。谷歌的优势在于与 TPU 团队的协同设计：模型团队会向他们提供算力实际如何被消耗的画像，芯片和数据中心的设计就能在两年左右的时间尺度上推进。Shazeer 补充说，更糟的是，朴素的 Transformer 推理会失去训练阶段的并行性，并且在为每个生成的 Token 查找注意力的 key 和 value 时受限于内存。无论是在架构一侧还是在硬件一侧，都还有大量工作要做，之后这些芯片的原始计算能力才能在解码阶段得到充分利用。

最后一点：一个新的、明显更强的 Flash 思考模型已经进入 Gemini 应用，他们希望人们去用，并反馈意见。用户反馈已经被纳入每个模型系列的迭代。宏大的问题都建立在这个平常的请求之上。如果你想做一件有意义的事，Shazeer 早先的建议依然有效：现在就去做；而如果你想亲身体验测试时算力在日常使用中是什么感觉，最好的起点就是他们刚刚发布的东西。