每月处理 500 万亿个 Token：谷歌如何一年增长 50 倍

Nathan Labenz 开玩笑说，这一期可以叫作“2025 年 5 月 15 日至 22 日这十年”。Google I/O 大会加上铺天盖地的模型和产品发布，连专门关注的人也快跟不上新闻了。Logan Kilpatrick 此前在 OpenAI 负责开发者关系，现在在 Google DeepMind 工作，这是他第五次做客 Cognitive Revolution。

Labenz 问，为什么领先的实验室总在差不多的时间，推出差不多的东西：先是推理模型，接着是编程智能体，然后是接入 Gmail 和谷歌文档的连接器。Kilpatrick 说，其中一部分是研究的原因：一旦某项技术被证明能大规模运作，别人就会踩着同一条路走过去，并把它纳入各自独立的赌注。其余的是竞争。他说，当下 AI 是全世界在资金、人才和速度上竞争最激烈的生态，没人愿意在当下显得落后，同时还想做出各不相同的长期押注。

更值得留意的数字，不在发布日程里。在 I/O 大会上，谷歌表示，其各项服务每月处理 500 万亿个 Token，一年前是 10 万亿，增长 50 倍，相当于地球上每个人每月超过 5 万个 Token。Labenz 注意到，这条曲线仍在攀升。Kilpatrick 认为，这件事是怎么在一家曾被形容为沉睡巨人的公司里发生的，主要是人与组织的故事，永远上不了头版。

从历史上看，谷歌同时运营着几个目标不同的 AI 组织。Kilpatrick 认为，这大体是正确的安排。谷歌大脑（Google Brain）追求广泛的研究议程，Transformer 就出自这份广度。谷歌研究院做的是更偏应用的工作，目的是流入其他产品。DeepMind 在 Demis Hassabis 的带领下，押注通往 AGI 的一条具体路径。当没有哪条短期路线明显胜出时，分散这些押注是讲得通的。

当某条路线在近期开始奏效后，谷歌就整合了起来。2023 年年中，谷歌大脑、谷歌研究院的一部分和 DeepMind 合并。Kilpatrick 说，这是让公司为这项技术的下一个十年做好准备的开端。大型组织本身就很混乱，训练周期慢，端到端地发布模型也慢。OpenAI 运行这个迭代循环的时间更长。用于研究和推理（inference）的 TPU 也不是一夜之间就能有的，它们也不是一直闲置着等人来用。

真正让他兴奋的，是进步的斜率：团队拧成一股绳，研究的广度回流进主力 Gemini 模型，基础设施保持领先，还有一个真正的发布节奏，把艰难的教训融了进去。DeepMind 本身也已从偏基础研究的实验室，转变为负责推出 Gemini 应用和开发者工具的组织，而这些又反过来影响模型的训练方式。他预计，接下来三到五年会看到这些艰难决定的成果。

激励和基因也很重要。自 2016 年前后接任以来，Sundar Pichai 一直把谷歌称为 AI 公司。Kilpatrick 反驳了“谷歌坐拥 Transformer 却不用”的玩笑：Transformer 其实早已在为搜索服务，规模达到数十亿用户，只是还不是今天的生成式形态。更好的模型也会帮助谷歌文档、表格、Waymo、YouTube 和谷歌云，它们是这些产品的内在部分。Labenz 拿 Meta 仍然分散的设置做了对比。Kilpatrick 没有评论 Meta，但强调谷歌所有的产品都依赖同一套模型改进。

展望未来，Labenz 问，领导者们会继续在同样的柱状图上竞争，还是会在产品形态和优势上分道扬镳。Kilpatrick 押注会有更多分化。几天前的一次晚宴上，许多创始人押注的是模型趋同。他的看法取决于抽象层级，不过容易的收益都已经被拿走了。剩下的是结构性优势，谷歌的基础设施就是其中之一。

走到今天并不出人意料。要再往上一个台阶，对很多团队来说不会容易，而这正是那些做出数量级押注的世界级团队会显露出来的地方。他说，AI 创新从这里开始不会变得更容易。一些实验室甚至可能选择一条狭窄的赛道，比如成为世界上最好的编程模型，不过他怀疑 Anthropic 会这么做，考虑到其广泛的使命。

对于顶级实验室之外训练基础模型的公司来说，找到自己真正擅长的东西，并围绕它打造有差异化的模型或基础设施思路，“很有道理”。Labenz 说，如今他不会想当一个二线基础模型训练方。尤其是在 DeepMind 也说这件事只会越来越难的情况下。Kilpatrick 并不认同大型科技公司会赢下它想要的一切、包括应用层的说法，转而谈起了建设者还能做什么。

谷歌现在有 Jules 这个编程智能体，与使用 Gemini 的产品处在同一个市场。Kilpatrick 说，Jules 还处在早期。团队很强，但其他 AI 编程产品的采用程度则是另一个量级：Cursor 刚刚宣布年经常性收入（ARR）达到 5 亿美元。这并没有削弱他对应用层的看法。

“人类历史上没有比现在更适合创办一家创业公司的时候，”他说。如果你要和大型实验室在语言模型上竞争，最好资金非常充足，因为那是极难的问题。如果你在应用层上构建，门槛从来没有这么低。从想法到软件的时间，到探索新想法的机会，再到扩大变现规模、打造留存率高的产品，此刻这些都变得更容易了。

要解决的问题有一百万零一个。大型产品会以通用的方式解决其中一部分；创业公司则可以深入某一个用户群。大公司常常因为安全、隐私和企业合规方面的限制，无法使用潮水般涌现的新 AI 工具，所以它们的工具演进得更慢。Labenz 提到 Shortwave 的创始人 Andrew Lee，他经过认真的自我审视后得出结论：“我们唯一的优势是速度。”Kilpatrick 又补充了第二个词：专注。谷歌同时发生着上百万项创新，这本身就是一种负担。创业公司只有一件事要做，不需要做很多决定。

Labenz 问起 Windsurf：在与 OpenAI 达成协议后，Anthropic 切断了 Claude 的供应。创始人是否该担心，谷歌有一天会先把 Gemini 3 放进它自己的编程智能体、Gmail 和文档里，然后才慢慢开放给 API？Kilpatrick 对 Anthropic 的这套说法表示理解。把算力投给长期合作伙伴、不支持竞争对手，这是寻常的商业策略，而他花了很多时间思考如何把算力送到合适的团队手里。

谷歌的处境不同。他说，谷歌云是全球第五大企业业务，它的使命是把谷歌规模的基础设施交给开发者，让他们不必重新打造一套。这一策略不太可能逆转。实际情况往往比 Labenz 描绘的更极端：外部开发者拿到模型的速度，经常比谷歌内部团队还快。

有些 Workspace 功能，Kilpatrick 几乎没怎么想过，它们的月活用户却可以达到 1.5 亿。这些团队没法随便切换模型；行为漂移、评测，以及对用户的责任，都需要时间。一个小产品可以一夜之间换掉模型。如果在 API 发布之前就强制内部采用，模型出门的时间会大大推迟，他很难想象这样做有什么意义。而把模型交给开发者，正是云业务的核心部分。

对于 Daniel Kokotajlo 的 AI 2027 情景，也就是实验室扩大内外差距，并把最好的模型留给递归自我改进，Kilpatrick 不认为谷歌会这么做。评测很难；没有对外发布，就无法获得模型是否值得长期押注的信号。开发者之间的势头是真实的竞争压力，转换成本也很高。他说，博弈论指向的是，模型会继续大体照现在的方式面向世界发布。计费单位也许有一天不再是每百万个 Token，但他仍认为，把能力交给别人，是一门很好的生意。

Labenz 描述了自己把一份 40 万到 50 万个 Token 的研究代码库丢进 AI Studio 里的 Gemini 2.5 Pro，然后反复修 bug 的经历。他能用的其他提供商，没有一家支持这么长的输入。Kilpatrick 说，长上下文的指令能力，目前是最大的性能差距之一。在 OpenAI 的 MRCR 评测中，也就是八针的高难度设置下，最新的 2.5 Pro 大约要好 20%。一年前的 Gemini 1.5 Pro 在单针检索上已经接近 100%；它的失效模式是针越加越多，效果呈指数级下降，而这一年间，长上下文方面的创新并不多。

Jack Rae 负责 Gemini 的推理，最初也是做长上下文的，他一直在和 Kilpatrick 讨论两者的融合：推理，才让你真正用得上整个窗口。请求的大小分布已经变了；用 2.5 Pro 时，长上下文的使用量比过去高得多。Kilpatrick 认为，人们会继续把更多东西塞进窗口里。在某些情况下仍然需要检索增强生成（RAG），但那种因为模型不够好而否定长上下文的老看法，已经不成立了。

为了直观感受，他做了一个 Colab，通过 Gmail API 拉取“来自我的”邮件，也就是他实际回过信的那些线程。对很多年的邮件来说，它们仍然装得进一百万个 Token。数据从不离开谷歌，只从 Gmail 流进用户自己的云端硬盘。然后你就可以向模型询问关于你自己的问题。他还邀请一路听到这里的建设者给他写邮件，争取抢先体验：lkilpatrick@google.com。Veo 3 的 API 仍在扩容。面向消费者的高价位使用，和 API 规模的需求，是两类不同的基础设施问题，而他还没有对外的接入流程。

Labenz 提出了一个关于智能体的马蹄铁理论。一端是按轮次运行的工具，比如 Claude Code 或 Jules，它们感觉就像最初的 ChatGPT，只不过每一轮更大、更有价值，而人仍然要为判断每一轮负责。中间是高度受约束的工作流，比如 LangChain 式的系统：八个步骤，配八条提示词，人们信得过它们，于是不会去检查每一个输出。开放式的“这里有 50 个工具，开始吧”式智能体，仍然会带来神奇的时刻，也会频繁地失手。

Kilpatrick 的看法是：随着推理能力的出现，许多脚手架会转移到模型里。你发出一个请求，在推理步骤里，模型已经拥有搜索、代码执行、沙箱和函数调用。模型正走在开箱即用就是智能体的路上。脚手架不会消失，但产品应当避免“单向门”。许多公司之所以搭了复杂的堆栈，是因为模型在某些事情上很差；如今这些层可以拿掉了，但要把它们从一个大型产品里拆出来很难。推理能力，恰恰让许多团队得以完成这种过渡。

负责 Gemini 应用和 Google Labs 的 Josh Woodward，对 Kilpatrick 讲过 NotebookLM 的同样故事。Audio Overviews 最初是一个 14 步的流程，中间有许多次交给 Gemini 的传递；如今大约只有四步。更少的顺序调用让产品变得更快。Labenz 在 Waymark 也见过这种循环：过去需要脚手架式流水线才能完成的图像理解，现在基本上就是交给 Gemini Flash 的一句提示词。关于 Agent2Agent，Kilpatrick 的理解是，MCP 并没有覆盖生产级智能体的全部故事，授权就是其中一个缺口；至于 MCP 会吸收这些问题，还是为其他标准留出空间，目前尚无定论。

Kilpatrick 想特别提醒的一条容易被低估的线索，是扩散语言模型（diffusion language models）。Labenz 还没用过 Gemini 的扩散版本；Kilpatrick 说，它们快得难以置信，而这种由粗到细的模式，比从左到右的下一个 Token 预测，更符合 Labenz 的思考方式。成本、质量与性能之间的取舍仍然没有定论。如果三者都能接近持平，这种速度就可能支撑个性化的生成式界面，让内容眨眼间就渲染出来，而编辑类任务看起来很自然地适合它。即便这种范式不会胜出，它也提醒人们：下一个 Token 预测并不是唯一值得押注的方向。

AGI 还缺什么？至少一样是记忆。但 Kilpatrick 的真正论点是，AGI 会是一种产品体验，人们不会在某次模型发布中一眼认出它。对定义的看法本就不一。某人会把更聪明的模型、更好的长上下文、更好的推理和记忆编织在一起。记忆这一项，与其说是机器学习，不如说更多是工程与人的心理，是在正确的时间呈现正确的东西。人们就会真切地感到 AGI 已经到来。模型也许只需要在几个维度上提升 50%，其余都是产品的事。他不认为，这是以模型为中心的 AGI 叙事，也不认为人们会这样体验它。

他仍然亲自写邮件和推文；在大约 95% 的情况下，过程里没有 AI，因为他想掌控以自己名义发出的内容。一个做粗略近似的数字分身，在他看来是陌生的想法。Labenz 担心 NotebookLM 开始蚕食播客的收听时间。Kilpatrick 的回应，呼应了 Sundar 关于搜索和聊天的说法：即便 ChatGPT 已经有数亿用户，搜索的查询量仍在增长，因为二者解决的是不同的问题。人们依然想要 Labenz 的视角。在一个你可以随便开出一千个类似节目的世界里，“人们想要的是 Nathan 的体验”。