Sam Altman 预计，通往 AGI 的路将是一场权力斗争

2023 年 11 月 17 日星期五的下午，OpenAI 董事会解雇了 Sam Altman。他说，这是他职业生涯中最痛苦的经历：混乱、羞耻、让人难受。不过回头看，他庆幸它发生得相对早。在创办公司和建造 AGI 之间，他原以为会出现某种疯狂、剧烈的事件；这一次几乎摧毁了公司。他对 Lex Fridman 说，通往 AGI 的路应该是一场巨大的权力斗争。他随即纠正：这里的“应该”是预判，不是规范，他预计事情就会这样。

他得到的答复不多，但他接受了董事会有权这样做。经历了短暂的困惑和愤怒之后，他开始在其中寻找祸中之福。管理一家规模不小的公司，从来不是他最喜欢的部分；他喜欢的是和研究人员一起工作。到周五下午，他已经对一个专注的 AGI 研究项目感到兴奋，没有想到这一切可能会被推翻。周五晚上，管理层说他们要争取把他拉回来。他带着兴奋上床睡觉。接下来的四天半里，他几乎没怎么睡，也没怎么吃东西，精力却出奇地充沛。他后来明白，肾上腺素会让人做出一些奇怪的事。

周六早上，两名董事会成员打来电话，说他们并不想让局面失控，问他能否考虑回来。他的第一反应是拒绝。随后他想到了员工、合作伙伴和股东，于是提出了自己的条件。那个周末剩下的时间最为痛苦：团队竭力维持 OpenAI 的运转，外界却想把它拆开；每个人都被告知，事情快结束了，再等一等。周日晚上，董事会任命了一位新的临时 CEO，那是最低谷。除此之外，他不会把自己的情绪描述为愤怒或仇恨。同事和很多十年没联系过的人纷纷发来消息，那感觉就像在听自己的悼词。他说，那个周末最主要的情绪是爱。

此后大约一个月，也就是四十五天左右，他一直处于一种恍惚的状态，情绪低落，只想钻进一个山洞，却还得照常经营公司。有一天早上醒来，他做了选择：可以永远觉得自己是受害者，也可以认定这是他一生中碰到过的最重要的工作，然后回到工作中去。他至今仍会在夜里想起这件事，但现在已经不花多少时间去想，因为事情太多了。他不认为那是最后一次高压时刻。

董事会本来应该拥有很大的权力。在大多数公司里，董事会对股东负责。OpenAI 的非营利董事会，除非另外制定规则，否则只对它自己负责。这种安排在某些方面是好的。Altman 说，他们真正想要的，是一个在可行的范围内尽量对全世界负责的董事会。他认为，董事会成员都是好心人，只是在时间压力下做出了不太理想的决定。公司需要一个能在这种压力下运转的董事会和团队。

旧董事会在大约一年里从九人缩减到六人，之后又无法就增补谁达成一致。它也缺少经验丰富的董事。Larry Summers 和 Bret Taylor 是在那个周末的混乱中选定的，是一个来不及设计严格流程的仓促决定。Summers 原本就是旧董事会自己提出的人选之一。Taylor 此前接触过，但当时很忙，后来又被需要了。Altman 认为，他无法与旧董事会以同样的组合继续合作；他很感激 Adam 留了下来。他们想在短时间内组成一个三人董事会。现在的董事会还不是最终形态，他们还会增加成员。

今后他们有了标准，也改为成批招募，不要一次只加一个人，这是 Bret Taylor 的一句话，Altman 很喜欢。董事会需要非营利领域的专业知识、经营过公司的人，以及法律和治理方面的能力。对某些席位而言，技术素养很重要，但并非每个席位都需要。Fridman 问，他们是看履历，还是只听口头表述。Altman 说，对大多数高管人选，他不看截距，只看斜率；而对董事会成员，他则更看重截距。经验很难替代。

在那个周末的混乱中，人们看到了 Mira Murati，而领导者通常就是这样被评判的。Altman 说，他真正看重的，是一个人在平淡的周二上午 9:46 如何行事：他在会议里的表现，以及在日常琐碎工作中做决定的质量。大家都想谈那个戏剧性的周末。但他说，OpenAI 真正关乎的是另外那七年。

Ilya Sutskever 是被关在某个秘密核设施里吗？没有。普通的秘密设施呢？也没有。非机密的核设施呢？两者都不是。Altman 很喜欢 Ilya，非常敬重他，希望他们在今后的职业生涯中继续合作。他不谈 Ilya 的计划。那种“Ilya 见过 AGI，正是这件事引发了董事会的风波”的传言，被他直接否认了。没有人见过 AGI，也没有人造出来。Altman 说，Ilya 非常认真地看待 AGI 及其社会影响，过去几年里，他是 Altman 花时间最多讨论这意味着什么、如何做对的人之一。Ilya 没有见过 AGI。在思考和担心能否做对这件事上，Altman 称他是人类的荣光。

他不解释这段沉默。他认为 Ilya 一直在良性意义上进行自我反省。最近一次晚餐上，Ilya 在和一只小狗玩，非常傻，也非常可爱，那不是外界最常看到的一面。Altman 对新董事会感觉很好。它的职责之一，是审视 OpenAI 的结构，让它更稳固。除了一场怪事凑成的完美风暴之外，他对那个周末没有什么深刻的理论，只觉得那是更高风险的预演，也是一堂让人痛苦的治理课。

这是否让他对信任别人更加犹豫？是的。他过去的哲学是不去担心偏执和极端情况：放下戒备，就得为此吃一点亏。这回他毫无防备，连带着他看待默认信任的方式，以及预先规划最坏情形的办法，都跟着变了。他不喜欢这种改变。他不担心自己会变得愤世嫉俗，他觉得自己恰恰是另一个极端。他担心的是自己不再是一个默认信任别人的人。Fridman 并不确定，对一个正在打造 AGI 的人来说，哪种状态更好。在他每天共事的团队里，Altman 会给自己打很高的分：他充满感激、信任和尊重。

Altman 说，他不知道马斯克的诉讼真正是为了什么，但他能讲清楚历史。OpenAI 起初是一个研究实验室，并不知道这项技术会走向何方——那时语言模型还没有成为大事，还没有 API，没有出售聊天机器人的访问权，也没有任何产品化的计划。面对根本性的新事物，只能在黑暗中摸索，而大多数假设最终都会证明是错的。后来逐渐清楚，他们需要做不同的事，还要筹集多得多的资金。他们一次次修补结构，最终得到的东西至少看起来让人侧目。如果有神谕，他会完全换一种做法；但当时他没有神谕。

在 Altman 的叙述中，马斯克认为 OpenAI 会失败，想要获得完全的控制权来扭转局面。他希望特斯拉能够建立自己的 AGI 项目。他曾在不同时期希望把 OpenAI 改造成由自己控制的营利性公司，或者与特斯拉合并。Altman 记得的那份提案，是由特斯拉完全控股的收购。他们不想那样。马斯克选择离开，这也没问题。如果 Altman 能借助神谕回到过去，他会换一个不同的名字。对他来说，“开放”现在意味着把强大的技术免费交到人们手中，作为一种公共利益：免费版本不放广告，不做其他变现，越来越强大的工具是使命的一部分。有些东西开源，有些不开源。这已经成了一条宗教式的对立阵线，很难讲细微差别。他认为，细微差别才是正确的答案。

马斯克说，只要把名字改成 ClosedAI，他就撤诉。Altman 把这看作马斯克对诉讼认真程度的一种表态，这话说得很令人惊讶。他指出，Grok 直到有人指出其中的虚伪，才放出了一些开源内容，随后宣布要做一次开源发布。他不认为问题的实质是开放还是封闭。在他看来，整件事都有失一个建造者的身份，而他尊敬马斯克是当代伟大的建造者之一，因此这种做法让他更加难过。他在一次采访中说，他怀念过去的马斯克，结果收到大量消息，都说这句话正好道出了他们的感受。他希望多年以后两人能保持友好关系。对其他创业公司，他的话很直接：如果有人想先以非营利身份起步，之后再加一个营利部门，他会强烈劝阻。

Fridman 问，Sora 对世界的理解是比 GPT-4 多还是少。Altman 认为，这些模型对世界模型的理解，比批评者承认的要多；而失败之处很容易让人把整件事说成假的。看 Sora 时，他对一个细节印象深刻：一个人从镜头前走过，遮挡了某个物体几秒钟，离开时物体依然在那里。有些片段能在许多步骤中保持物理规律。他不会像 Fridman 那样走得那么远：它处理遮挡的能力很强。说它拥有出色的三维世界底层模型，则有些牵强。基于二维图块（patch）的方法，看起来还能走得出人意料地远。他不想推测它会突破哪些限制。

视频里的猫，仍然会在随机位置凭空长出一条多余的腿。这是根本缺陷，还是规模问题？两者都是。这种方法在某些地方确实与我们思考和学习的方式不同，同时它也会随着规模扩大而变好。训练时使用视觉图块，就像语言模型使用 token 那样。Sora 的具体情况不多说，但训练用了大量人类数据。多少人？不止三个人在做标注。从根本上说，这里有大量的自监督学习（self-supervised learning）；技术报告里的说法是互联网规模的数据。发布前，他们还需要把效率提升到人们期望的水平。深度伪造和虚假信息的问题，并不需要太多思考就能看到。

关于版权，背后的问题是，那些创造了有价值数据的人是否应该获得某种补偿。他认为应该。如果他是艺术家，他会希望能选择退出，不让别人以他的风格生成作品；如果有人照样这么做，他希望能有一套经济模式与之挂钩。艺术家在摄影出现时也曾恐慌；摄影成了一种新的艺术形式，人们也靠拍照谋生。他不认为我们已经看到经济体系运作方式的最后一次演变。谈工作时，更好的框架是看它能完成哪些任务、能持续多久，比如五秒、五分钟、五小时，甚至五天，而非 AI 会取代当前职位的百分之几。这是一种让人能在更高的抽象层次上工作的工具。大多数 YouTube 视频可能在制作中用到了 AI，但仍然是由人驱动的。他同意，人类非常在乎彼此。人们依然会举办跑步比赛，即便汽车跑得更快。

Fridman 称 GPT-4 在历史上令人印象深刻。Altman 说，他觉得 GPT-4 挺烂的。GPT-3 曾经被视为技术奇迹，直到 GPT-4 把它比得糟糕到难以想象。他预计从 5 到 4 的差距，会和从 4 到 3 的差距一样大。要做的，是提前几年活在未来，并记住：今天我们用的工具，回头看都会显得很差。这样才能让未来变得更好。他最喜欢的一个亮点，是它作为创意头脑风暴伙伴：一个名字，一个不同的角度，一件他不确定该怎么做的事。另一个小亮点，是较长周期的工作：把问题拆成步骤，搜索，写代码，再把它们组合起来。这种情况成功的时候非常神奇，但并不常见。单独的十步问题，仍然经常失败。

ChatGPT 是很多人从不相信转向相信的时刻，但这更多要归功于界面、产品和后训练（post-training），而非基础模型本身。人类反馈强化学习（RLHF）之类的封装层，是叠在上面的一小层算力，但工作量很大。他们必须发明底层技术，并弄清楚怎样把它做成人们会喜欢的产品：对齐与实用性，而不只是发布。规模化本身是其他公司也得解决的已知难题。他希望被计入的成就，是另外两件从未有人做过的事。

他们采取迭代式部署，一边谈 GPT-1、2、3、4，一边逐步发布，没有一直藏到 GPT-5 才亮相。因为 AI 和惊喜不能混在一起，世界也需要时间来适应。目标是不要突然的冲击式更新，恰恰相反。人们仍然感到一次次的跃进，这让他觉得他们可能没有做到位，也许应该考虑用不同的方式发布 GPT-5。它什么时候来？他不知道，这是个诚实的回答。他们今年会发布一个很棒的模型，但他不知道它叫什么。在类似 GPT-5 的模型出现之前，无论叫不叫这个名字，他们还有很多别的重要东西要发布。突破从来不只来自一件事。这是 Ilya 的一句原话，Altman 说得有些走样：他们把 200 个中等大小的东西乘在一起，得到一个巨大的东西。

大多数人在大多数时候都不需要 128K 的上下文。他设想在遥远的未来，上下文长度会达到几十亿。把你所有的信息和历史都输入进去，系统就会越来越了解你。他回忆起 Bill Gates 谈早期计算机内存的一段视频：64K 或 640K，其中大部分还是屏幕缓冲区，当时的人连 GB 都难以想象，更不用说 TB。人们总会找到如何使用指数增长的办法。一旦拥有了它，你就不会想再回去。他看到的 GPT-4 最有意思的用法，在于年轻人开始把每一项知识工作都先交给它处理：写代码、搜索、看图、修改论文。幻觉仍然是一个非常激烈的研究问题。他认为，用户比批评者想象的更老练；在关键任务中，他们知道要核对。他对记者的诸多不满里，并不把记者偷懒使用 GPT 排在最前面。

ChatGPT 中的记忆功能还处在早期探索阶段。他想要的是一个能逐渐了解他、并在他的一生中、跨越许多模型而变得越来越有用的模型，不只是零碎的事实和偏好。Fridman 调侃他记得十一月的事。Altman 很认真：他不只希望它记住那个周末，还希望它能整合那些教训，并在将来提醒他下次该怎么做得不同，或者该注意什么。如果上下文有一天达到数万亿个 token，那么每次提问时，窗口里都包含你所有的对话和每一封邮件，那会很酷。对他来说，隐私是用户的选择：他想从 AI 助手的记录中删掉的任何内容都要能删；如果他希望它什么都不记，那也可以。不同的人会在隐私与效用之间选择不同的平衡点。答案在于让用户轻松地做出选择，并比公司过去为投放广告而收集数据时，提供更高的透明度。

每个 token 得到的算力仍然大致相同。Fridman 问到较慢的、按顺序进行的思考。Altman 认为，这方面会出现一种新的范式。在架构上，它可能是大语言模型（LLM）之上的一层，也可能是许多其他实现方式；精神上的要点是：AI 应该在更难的问题上多想一会儿，在简单问题上快速作答。证明费马大定理，所需的算力应当比今天的日期还多，除非这个证明已经被记住了。至于它最后会不会表现为 LLM 自己和自己对话，他们也不知道。Q* 和那座核设施一样，属于传闻一类。他们还没准备好谈这个。他们说过，更好的推理是一个重要方向，但还没有破解这个难题。

他从没在推特上发过 OpenAI 要融资 7 万亿美元的消息。等误导信息传开后，他把它做成了梗。玩笑背后有一个认真的判断：算力会成为未来的货币，也许是世界上最珍贵的商品，世界应当大力投资，把它造得多得多。手机芯片不是这样运作的。全球 80 亿人，60 亿到 70 亿部手机，每两年更新一次，每年的市场大约是 30 亿颗 SoC（片上系统）。即使做出 300 亿颗，也不会因此多卖出十倍的手机。智能更像能源。唯一说得通的数字是：在价格为 X 时，世界用这么多算力；在价格为 Y 时，用那么多。便宜到一定程度，他会让它整天读他的邮件、提建议，还要试着治愈癌症；贵的话，也许只用来治癌症。世界将需要的算力规模，眼下很难推算。

能源是最难的部分，其次是数据中心、供应链，以及制造足够多的芯片。他相信能源的答案是核能，包括核聚变。他认为 Helion 做的是最好的工作，很高兴有这场竞赛。核裂变同样了不起；可惜这个行业停滞不前，他把原因归于集体歇斯底里。他担心 AI 也会走上同样的路。有些事情会以戏剧化的方式出错。他不知道自己最终被枪击的概率有多大，但它不是零。空气污染杀死的人，远比核反应堆多；大多数人仍然更担心住在反应堆旁边，而不是住在燃煤电厂旁边。能成为好电影高潮的风险，在人们心中的分量，比慢慢发生的风险更重。他认为 AI 带来的好结果会远远多于坏结果，但它也会带来坏结果，其中一些根本不会是戏剧化的。

与谷歌、Meta、xAI 等公司竞争，好处很明显：产品更好、更快、更便宜。坏处则是一场军备竞赛，这让他紧张。在某种程度上，他感受到了这种压力。如果画一个四象限图，纵轴是时间线的长短，横轴是起飞速度的快慢，他希望处于时间线短、起飞慢这一象限，这也是最安全的象限，并且要确保他们能走上慢起飞的路。马斯克说他非常关心 AI 安全；Altman 则假定他不会不安全地去竞争。在安全问题上合作会有帮助。这并不是马斯克最为人所知的一面。有人提醒 Altman，马斯克超过 Jeff Bezos 成为全球首富的那天，他在推特上向 Bezos 发了一枚银牌。Altman 希望，在大家共同推进 AI 的过程中，这类事情能少一些。他认为，世界需要马斯克在这下一阶段站出来，成为领导者。

谷歌二十年来几乎掌控了全世界获取信息的入口。OpenAI 会去接这个挑战吗？如果问题是打造一个更好的搜索引擎，Altman 觉得这很无聊。十条蓝色链接加十三条广告，是找信息的一种方式。让他兴奋的，是帮人找到、运用并整合信息的方式要好得多。在某些场景里，ChatGPT 已经做到了这一点。世界不需要另一个谷歌的复制品。大语言模型与搜索的交叉点，还没有人攻克，他很想去做这件事。广告他从审美角度有点讨厌。广告曾经是让互联网跑起来的必要手段，如今它已经是一个更成熟的行业。他喜欢人们为 ChatGPT 付费，并且知道答案不会受到广告商的影响。反乌托邦的画面很容易想象：你问 ChatGPT 一件事，它告诉你该买哪个产品。在 AI 的世界里，靠广告支持的产品只会变得更糟，而不会变好。他认为，他们可以在不靠广告的情况下，做出一门能支付算力成本的好生意。

Gemini 1.5 生成过黑人纳粹和黑人开国元勋的图像，这很戏剧化，也是个警告：人为加上的安全层，可能会把某家公司的意识形态带进来。OpenAI 也犯过自己的错误，今后还会再犯。内部有人提出过一个他很喜欢的想法：把模型应有的行为写出来并公开，接受外界的意见，并解释边界情况。这样，当模型出了问题，你就能判断这是需要修复的漏洞，还是需要讨论的政策。高层的 AI 原则是行不通的。你必须说清楚：当你要求它做 X 时，它应当以 Y 的方式回应，包括特朗普和拜登这类具体案例。旧金山是一个意识形态的泡沫。他感到庆幸，OpenAI 没有他听说过的其他公司那种文化战争式的问题。每家公司都有意识形态，他们的意识形态关乎 AGI，并会把某些人挤出去。微妙的渗透当然有，但不是那种明显的。

广义的安全，最终会成为公司大部分人都在思考的问题：技术层面的对齐（alignment），社会与经济影响，以及试图窃取模型的国家行为体。这不会只是一个安全团队的事。他们正在努力。他不会展开具体细节。随着 GPT-5 变得更聪明，它的特别之处在于全面变好，不会一方面进步、另一方面倒退。五到十年后的编程仍然会是大量的编程工作，只是形态会很不一样；有些人可能完全用自然语言工作，就像几乎没人还在用打孔卡一样。手艺的最后百分之一，仍然需要多种工具，包括在必要时写 C 语言。人形机器人：总会有的。如果 AGI 来了，而在物理世界里做成任何事的唯一办法仍然是让人去做，那会非常令人沮丧。OpenAI 会以某种方式重新回到机器人领域，但他们不会把自己变成机器人。

人类什么时候才能造出 AGI？他过去很喜欢推测这个问题。现在他认为这个问题提得不好，因为每个人用的定义都不一样。与其讨论是否跨过了某个里程碑，不如谈某个系统能做什么。AGI 更像是一个开始，而不是一个结束。到这十年末，甚至可能稍早一些，他预计会出现相当强大的系统，我们看到时会说：哇，这真的很了不起。在 1990 年代，许多专家大概会觉得 GPT-3.5 就是 AGI。它本身这个东西并没有改变世界，但它改变了人们的预期，这很重要。他自己的标准之一，是全球经济是否感觉不一样了。在 GPT-4 之后，对他来说并没有。还有一个他个人的标志：一个能显著加快科学发现速度的系统，因为他相信，大多数真正的经济增长都来自科学和技术进步。

如果有人递给他一台笔记本电脑，说这就是 AGI，他会发现很难知道该问什么。他不认为第一个 AGI 能解释物理学的大统一理论。如果它只能回答是或否，那么最先要问的问题会是：这样的理论存在吗？有没有其他外星文明？他其实并不指望它能回答这些。更好的情形是，系统说：你想要这个物理学答案，那就造出这台机器，做这五次测量，然后把数据带回来给我。谁先造出 AGI，谁就会拥有巨大的权力。他是否信任自己掌握那么大的权力？他仍然认为，无论是他还是其他任何一个人，都不应该完全控制 OpenAI，也不应该完全控制 AGI。你需要一个稳健的治理体系。

他可以指向董事会风波：起初他没有抗争，那是董事会的意志，尽管他认为那是一个非常糟糕的决定；后来他显然进行了抗争，并且能解释为什么那样做是可以的。正如许多人所观察到的，董事会在法律上有能力解雇他，但实际上并没有真正行得通。这本身就是一种治理上的失败。它让他很难直视 Fridman 的眼睛，说董事会可以随便解雇他。他仍然不想要超级投票权控制。他从来没有过，也从来不想要，经历了这一切混乱之后，现在依然不想要。任何公司都不应独自做这类决定，政府需要制定游戏规则。他知道 Marc Andreessen 和其他人会把这称为监管俘获。他愿意被误解。就他目前的看法，失去对 AGI 本身的控制，也就是模型逃出盒子，并不是他最担心的事。这种担心有时候出现过，将来可能还会出现。他认为，这是一种戏剧化的风险：它占据了大量出于善意的安全研究的注意力，却没有取得多少进展，还把其他重大的 AI 风险挤出了讨论。他们仍然必须非常努力地应对它。

Fridman 花了不少时间讨论，为什么 Altman 发推特不用大写字母。Shift 键是能用的。他是在网络上长大的孩子，在即时通讯软件上聊天时从不大写，他认为大多数网络上长大的孩子也是这样。古英语会随意地把名词大写；他觉得句首大写是个有点愚蠢的规定。战略备忘录和正式的长消息，仍然会用正确的大小写。短消息则慢慢变成了他和朋友发短信的方式。如果这被视为一种尊重的表现，他可以强迫自己改。他并不常想这件事。Fridman 调侃说，他是唯一一个不大写推文的公司 CEO。Altman 怀疑，连这一点是否属实。

Sora 让他对“我们生活在模拟之中”这一想法有所加深，但它不算他的前五大证据之一。他早已确信我们能够生成世界，只是这发生得比他想象的快。一位朋友最近给了他一个他觉得深刻又有点迷幻的洞见：平方根函数。四的平方根很容易；二的平方根需要一种新的数；负一的平方根则会把你带入另一个现实。一个简单到小孩都能理解的运算，就能打开一片新领域。他认为，人们之所以比以前更倾向于相信模拟假说，有很多这样的运算在起作用。对他来说，Sora 能正常工作并不在前五之列。AI 发挥到最好的时候，会是那种简单的入口，通向另一种看世界的方式。

他是否认为存在有智慧的外星文明？他非常希望答案是肯定的，也觉得费米悖论令人困惑，甚至让人不安：智能或许并不擅长驾驭强大的技术。令他抱有希望的是过去：有过巨大的问题、深刻的缺陷，有许多值得羞愧的事情，但总体上是鼓舞人心的。他想知道，AGI 更像是一个单一的大脑，还是更像我们每个人之间的脚手架。你与你的曾曾曾祖父母之间，基因几乎没有怎么漂移，而你能做的事却大不相同。那不靠生物学，而来自我们所有人共同贡献的那一层。没有任何一个人能造出 iPhone，也没有任何一个人能发现全部科学。你依然可以使用它。那是集体的成果，这让他充满希望。如果他明天就被枪击，他会遗憾错过接下来这个充满好奇的时代里将要发生的事，但更多的是感激自己的一生。