o1 已是新一代模型，通用人工智能（AGI）到来那天可能平淡无奇

Bob McGrew 在 OpenAI 待了八年，最后担任首席研究官，于 o1 Preview 发布几个月后离职。这次与 Redpoint Ventures 的 Jacob Effron 和 Jordan Segall 的对话，是他卸任后最早的访谈之一。在加入 OpenAI 之前，他在 Palantir 的头十年里负责工程和产品，之后又花了一年研究机器人学。

这次对话里，有几条判断很少有局外人会说得如此直白。按多种指标衡量，o1 的算力相比 GPT-4 提升了 100 倍，但 OpenAI 给它取的名字是 o1，没有叫 GPT-5。他引用的估算显示，AI 只为 GDP 增长贡献了约 0.1%，他说这点增长来自建设数据中心的投入，与模型在使用中带来的生产率提升关系不大。他还预测，两年内会出现一部值得一看的 AI 生成长片，原因是一位导演用模型拍出了原本拍不出来的画面。

McGrew 说，模型是否“撞墙”，是局外人与局内人看法差别最大的地方。局外人是因为 ChatGPT 才注意到 AI，六个月后 GPT-4 问世，他们感受到了加速。GPT-4 作为公开旗舰用了一年半之后，人们开始问，是否已经撞上了数据墙。但实验室内部的算账方式完全不同。

从 GPT-2 到 GPT-3，或从 GPT-3 到 GPT-4，有效算力大约提升了 100 倍。算法上的进步能做到两三倍，就已经很了不起；剩下的部分需要更多芯片和新的数据中心，这是一项要花好几年的慢工程，Meta、xAI 和其他前沿实验室都在明显地这样做。在 GPT-4 到 GPT-5 的完整跨越之前，他预计会先出现一个 10 倍的增量，人们常常忘了中间还有 GPT-3.5 这一步。

o1 属于这一类跨越，只是这 100 倍的提升来自强化学习（reinforcement learning）和推理时算力（test-time compute），而预训练（pre-training）的规模并没有再放大。这种做法是生成更长、更连贯的思维链（chain of thought），把更多算力投入到一个答案里。一个能思考几小时的模型，比只想几秒钟的，如果算力真正用上，就能多用 10000 倍。OpenAI 早在 2020 年前后就在思考推理时算力；o1 是第一个没有把其中大部分浪费掉的版本。

这种路线无须再建新的数据中心，在算法层面还有不少提升余地：按理论推算，思考时间可以从 30 秒拉长到数小时，乃至数日。难题和当年从 GPT-3 走向 GPT-4 时一样，没有冒出什么奠基性的新方法，主要的工作仍是把规模做上去。他表示，要把下一代预训练与这套强化学习过程叠加，业界只能等待有人正式宣布成果。

GPT-4 级别的聊天机器人已经能轻松应付大多数日常问题，比如古罗马第四位皇帝是谁，怎么热印度香米。o1 的价值体现在结构化、需要长时间推进的工作上，比如编程，或是写一份逻辑前后自洽的政策简报。McGrew 最兴奋的是长时间运行的行动。他觉得“智能体”这个词被用得太滥，更喜欢具体的说法：订票、购物，通过与外部世界互动来解决问题。目前还没有人真正找到这种形态。

眼下最大的差距是可靠性。如果你离开一个小时，模型却跑偏了，这一小时就白白浪费了。如果它替你买东西、推送 PR（代码合并请求），或是代你发邮件和 Slack 消息，一个错误就会变成钱上的损失或尴尬。他的经验法则是，把可靠性从 90% 提到 99%，大约需要多一个数量级的算力；从 99% 提到 99.9%，又要再多一个数量级。每多一个九，都相当于一代模型的工作量，也就是一两年。

企业场景让问题变得更复杂。消费者场景下的上下文很单薄；在公司里，模型需要同事、项目进展、代码库，以及大家已经尝试过的做法，这些信息分散在 Slack、文档和 Figma 之中。一条路是做一整套连接器（connector）库，这正是 Palantir 当初要解决的集成问题，所以他对 Palantir 的 AIP 很感兴趣。另一条路是电脑操作（computer use）：一把锤子对付所有钉子。Anthropic 已经推出了这种能力；谷歌 DeepMind 发表过相关论文；OpenAI 在 Anthropic 那几位创始人离开之前，就已经在讨论这类智能体，大约是 2020 年前后。

电脑操作消耗的 Token 可能是程序化 API 的 10 到 100 倍，这同样需要很长、很连贯的思维链，而这正是 o1 的设计目标。他并不认为需要专门为 Salesforce 量身定制一套操作模型。真正的资产是关于如何使用这款产品的数据集。让 Salesforce 与 Anthropic、OpenAI 和谷歌分享这些数据，符合它自身的利益，这能让这套技能进入每一个基础模型，相当于 AI 时代的 SEO。这种生态至今没有形成，他觉得不可思议。几乎能用的演示，一年之内就会好上 10 倍，两年内就会相当好用，但仍然不完全可信；能容忍出错的任务会最先被自动化。他说，在一个好的电脑操作模型与企业合同之间缺失的那一层，要由创业公司来发明。

这次录制正赶上 Sora 公开发布，McGrew 把它看作多模态（multimodal）这条路线上迟到的最后一步。Transformer 大约在 2018 年从语言扩展到了视觉、图像输出，以及音频的输入与输出，先是 DALL-E 和 Whisper 这类辅助模型，之后才进入主模型。视频是最晚才被并入的模态。一张图往往只需要一条提示词，而视频是随时间展开的故事，这也是为什么 Sora 的分镜（每五到十秒设一个检查点）和画面本身一样重要。

训练和运行视频模型都极其昂贵。单帧的画质已经不错，比如反光和烟雾，但要从几秒延长到一小时、保持连贯地生成，才是下一代的竞争焦点。他预计大语言模型（LLM）的成本曲线会在视频上重演：如今达到 GPT-3 水平的一个 Token，比刚推出时便宜了约 100 倍，同级别的视频生成也会以同样的方式变得几乎免费。Sora 已经在 OpenAI 每月 200 美元的 Pro 套餐里提供不限次数的慢速生成。他说，拿奖根本不是足够高的门槛；真正的问题是，它是不是一部你愿意看的电影。他估计还需要两年，到那时人们愿意看的理由，会是导演的构想，生成器只是工具。一旦能做成演示，进展就很快；在那之前，它是看不见的。

机器人这件事对他来说更私人一些。2015 年离开 Palantir 后，他花了一年时间写早期的深度学习视觉代码，当时他判断这个领域还要五年才能成熟，结果错得离谱。他现在认为，这个五年的判断终于对了：工作场所会有广泛但有限的采用，现在正是创办机器人公司的好时机。基础模型几乎免费提供了从视觉到动作的能力，生态也已经足够成熟，有位创始人告诉他，你可以直接跟机器人说话，不必坐在工作站前敲键盘。OpenAI 为期两年的机器人项目表明，在模拟器里训练的成果可以迁移到现实世界，但模拟器擅长刚体，不擅长布料和纸板，所以真正通用的东西仍然需要现实世界的示范数据。

他并不看好家用消费级机器人的大规模普及。机械臂可能会致人伤亡，包括儿童，而家庭环境又难以约束。他预计五年内，机器人会在仓库和其他工作环境里一个领域一个领域地推广：亚马逊已经解决了移动问题，正在攻克抓取与放置（pick-and-place）。前沿实验室会继续推出一个在它们所拥有的数据上样样都做得最好的模型；专门化主要是性价比的问题，靠的是现在已成标准的做法：在前沿模型上生成训练轨迹，再微调（fine-tuning）一个小得多的模型。

McGrew 说，看待 AI 进展的正确心态是深深的悲观：要问为什么它进展这么慢。有人把 AI 对 GDP 增长的贡献算作 0.1%，而那是数据中心的资本支出带来的，与使用模型本身关系不大。生产率统计仍然看不到 AI 的影子，这和 1990 年代人们对互联网的抱怨如出一辙。2018 年的直觉是：一旦它会说话、会写代码，所有人都会被自动化。这种直觉就像那位说两周能做完的工程师，结果发现功能要做两个月。

AI 自动化的是任务。一份工作由许多任务组成，大多数真实的工作都有一部分无法被自动化。编程也是同样的规律：样板代码最先被取代，最后剩下的是给出方向，也就是弄清楚你到底想做什么。他最看好的创业公司，是把 AI 用在一些枯燥的事情上。如果采购部门里全是像马斯克那样水平的人，每一块钱都货比三家，公司能省下不少钱；但没人会这样配置人手，因为那些人会讨厌这份工作。AI 有无穷的耐心，它不必有无穷的智慧。

最早显示生产率提升 20% 到 50% 的研究，出现在咨询顾问身上。他并不意外，因为模型擅长生成流畅的文字，而咨询这一行本来就是在生产这类文字。更大的提升出现在表现排在后半段的人身上。他认为这很令人乐观：这些人往往知道自己想做什么，只是缺少执行能力，而模型恰好能补上这个缺口。

McGrew 见过两类出色的研究者。Alec Radford 是 GPT 系列和 CLIP 的开发者，他常常在深夜独自对着电脑，做出最好的工作。Ilya Sutskever 和 Jakub Pachocki 分别是 OpenAI 的第一任和第二任首席科学家，他们通过别人来推进宏大的想法，并且手里有路线图。共同的特质是韧性。Aditya Ramesh 花了 18 个月到两年时间，想证明神经网络也能创造：生成一幅训练集中不可能存在的画面，一只在冰面上溜冰的粉色熊猫。一年之后，Ilya 给 McGrew 看了一团模糊的图像，坚持说粉色正在顶部聚集。McGrew 怎么也看不出来。Aditya 一直坚持，直到成功为止。每一位在基础性难题上取得成功的研究者，都把它当作死守的阵地。

管理他们时，他借用了 Palantir 的 Alex Karp 的一句话：工程师是艺术家，10 倍工程师就是 10 倍的艺术家，而研究员是任何工程师的 100 倍艺术家。你可以让他们去修 bug，但他们心里的那个艺术家会很难过。研究管理之所以需要大量投入，是因为最致命的失败，就是把这份艺术感扼杀掉。他们之所以能忍受痛苦，只是因为脑子里有那个愿景。

OpenAI 的另一个文化特点，是它被“重新创办”的次数很多。McGrew 加入的是一家非营利机构，其计划是通过发表论文来实现 AGI，这条路在 Sam Altman、Greg Brockman 和 McGrew 这样的创业圈人士看来很别扭。之后，公司经历了转为营利性公司、与微软合作、自建 API 产品，以及 ChatGPT 把公司从企业业务带向消费者市场。其中任何一次，放在一般的创业公司身上都可以算是彻底的转型；在 OpenAI，大约每 18 个月到两年就会发生一次。大部分转变都是迫于形势：非营利机构的钱快花光了；微软没有看到价值，于是 OpenAI 自己做了 API 来证明需求。ChatGPT 则更有计划。GPT-4 当时已经训练完成；内部的标准是一个所有人每天都在用的模型，到了 11 月，ChatGPT 还没有明显达到这个标准。联合创始人 John Schulman 希望听取外部反馈。McGrew 认为，一千名用户就算成功。他们做出了一个关键决定：不设置候补名单。

最初几天非常紧张：有人难以置信，大家争抢 GPU，研究用的算力被临时挪用，还有人担心它会像 DALL-E 2 的爆红那样很快消退。McGrew 押注它的影响会比 API 更大，结果他说对了。另一个不那么出名、同样痛苦的决定，是停掉机器人和游戏等探索性工作，把力量全部投入语言模型和生成式建模。Dota 2 让他们确信，规模能够解决难题，那个游戏的数学难度确实比围棋高得多。相比之下，他认为学界围绕署名和作者排序的激励很糟糕。谷歌 DeepMind 曾试图把学术研究放进一家公司里；谷歌大脑则让学者自由探索，同时安排产品经理（PM）把成果接住，做成产品。OpenAI 的赌注，是建立一个像创业公司一样运作的实验室：让每个人自由找到自己的阵地，大家围绕同一个目标合作，产出的不是一堆论文。

McGrew 很难把 AGI 概念化，他对这个概念本身也有所批评：它并没有一个单一的时刻。这些问题是分形的，自动化会一块一块地到来。他脑海中的画面很平淡。人们乘自动驾驶汽车去上班，指挥着一大群 AI，却仍然觉得自己的老板是个傻瓜。这种观点的认真版本，是 OpenAI 内部长期形成的共识：推理是通往人类水平智能之路上最后一个根本性挑战。预训练、多模态和推理如今都已经到位。剩下的是扩展，包括系统、硬件、优化和数据，几乎没有新的基础性想法。从这个意义上说，它是注定会发生的，剩下的工作很艰难。

他关心的社会问题是：当智能变得无处不在、几乎免费时，什么会变得稀缺。他的判断是主动性：知道该问什么问题、该推进哪些项目，然后真的去做。AI 不会替我们解决这个问题，而且并非每个人都擅长。难道你只要告诉模型去搭建一家好公司就行吗？Sora 就是一个类比。一个模糊的提示词仍然能生成视频，也许比你自己拍的还酷，但未必是你想要的那一个。具体的选择，才能得到让你满意的东西。模型再先进，给空白处上色的事，仍然要由你自己来做。

他用 o1 的一个习惯，是教八岁的儿子编程。儿子问什么是网页抓取程序（web scraper）时，McGrew 用 o1 反复修改出一个足够短、不会引入太多新概念，同时又足够清楚、能拿来讲解网络的程序。玩模型本身也是一种测试。每一代模型的评测（eval）都在变：对 o1，他们一直盯着 GPQA，直到分数饱和。编程多年来一直很有用，因为它的应用范围可以从补全一行代码，延伸到写一整个网站，而距离真正胜任一名软件工程师的工作，仍然差了好几个数量级。

他是在 o1 Preview 发布之后才宣布辞职的，这是有意为之。这套研究计划（预训练、多模态、推理）已经解决得差不多了，可以把剩下的扩展问题交给下一代对此充满热情的人。他对下一步并不着急。离开 Palantir 后，他花了两年时间四处探索，其中包括一家机器人公司的失败起步，正是这段漫无目的的摸索，让他最终来到了 OpenAI。现在被高估的东西：看起来很有趣、一放大规模就散架的新架构。被低估的东西：o1 本身，它已经很火，却仍然火得不够。他没有改变自己的教育方式，并把这称为一种失败；当 ChatGPT 也会写代码时，他仍然说不清，自己为什么还要教八岁的孩子编程。真正经得起时间考验的建议其实很古老：让孩子做一些略超出能力边界的事，学数学和编程，把字写好，广泛阅读。语法本身并不重要，关键是学会以结构化的方式思考问题。