GPT-4 是非常早期的 AI，历史书会记下的是 ChatGPT

Fridman 开门见山地问：GPT-4 是什么，它如何工作，它最令人惊叹的地方是什么？Altman 并没有把它当成一件完成品来推销。他说，人们日后回看时，会把它当作一个非常早期的 AI：缓慢、有 bug，很多事情都做不好，就像最早的计算机一样。那些机器仍然指向一个重要的未来，只是那个未来花了几十年才到来。

这份谦逊旁边，还摆着一个更奇怪的事实。这次对谈录制于 GPT-4 发布后的第六天，而 Altman 已经把它看作一种正在公开改变编程方式的东西。一位 CEO 把自家模型说成早期的、笨拙的，而数百万人已经无法想象没有它的日子，这正是陡峭拐点的典型特征：工具还不完整，却在许多工作流程中已经成了承重结构。

Fridman 问，未来的维基百科页面会把哪一代 GPT 写成那次跃升。Altman 不认同“某个瞬间 AI 从没有变成有了”的说法。他看到的是一条持续的指数曲线。如果一定要从 OpenAI 迄今发布的东西里挑一个时刻，他会挑 ChatGPT。

原因不在底层模型本身。他的意思是，关键在于它好不好用，这既包括 RLHF，也包括界面。GPT-3 在 2020 年就已经在研究人员和开发者圈子里很强了，普通人几乎感觉不到。两年后，一个聊天框加上一层人类反馈，就把同一族模型交到了数亿人手中。

这种模式比这家公司还要古老。个人电脑、互联网和智能手机改变世界，最关键的时刻，与其说是能力曲线最陡的那一点，不如说是它们变得易于使用的那一刻。Altman 的论点是，AI 刚刚演的也是同样一出戏：推动它的是可用性的跃升，智能本身并没有突然诞生。

Fridman 把预训练模型比作一道菜的主料，把 RLHF 比作那一小勺突然让菜变得美味的调味料。Altman 讲了这套做法。你先用海量文本训练，让模型学到这些数据中的一些表征。基础模型可以通过考试，也能存储知识，但用起来很别扭。然后，你给人们看两段输出，问他们更喜欢哪一段，再用强化学习把这个信号反馈回去。

他说，这个过程只用很少的数据，却出奇地有效。模型第一次就更容易得到你想要的结果，那种感觉就像它理解了问题，并且想要帮你。Fridman 把这种感觉称为对齐的感觉。Altman 表示同意，但又补充了一句提醒：OpenAI 对这个人类引导阶段的科学理解，远不如对预训练模型本身的理解深。

由谁来打分，问什么问题，如何汇总投票，这些仍然是没有解决的问题。谁来给答案排序，谁就能把一套价值体系盖章到模型上。这已经超出了训练细节的范畴，是一个关于权力的问题。

被问到 GPT-4 训练用了什么数据，Altman 只说了个大概：开源数据库、合作伙伴、新闻，以及开放网络。Fridman 开玩笑说，Reddit 上的梗图占的比例并不大。违反直觉的是数据的充裕程度。世界上的内容比大多数人想象的要多。难点是过滤掉那些你不该拿来训练的东西，找材料反倒不难。

Altman 说，要做出人们真正在用的产品，需要一大堆环节同时奏效：架构、规模、数据筛选、人工监督。每个阶段，OpenAI 要么需要一个新想法，要么就得把一个旧想法执行得极其出色。公众看到的是一个聊天框，而它背后的流水线，每一个环节都可能单独写成一篇论文。

Fridman 追问 GPT-4 博客文章中的一个更奇怪的说法：你可以在完成整个训练之前，就预测模型的智能水平。Altman 觉得，这比他敢想象的还要科学。看一段很短的训练，就能判断最终成品的水平，这就像你无法通过看一个一岁的孩子去预测他的 SAT 成绩一样。他补充说，新数据会推翻现有的解释，因为一门年轻的科学本来就是这样发展的。即便如此，能预测得这么准，也应当让人惊叹，而不是觉得乏味。

他还怀疑，模型把太多算力花在了充当数据库上，而不是充当推理引擎上。在把互联网吸收进来之后，事实已经很便宜。至于“推理”，学者和推特用户会为它的定义争论不休，但令人惊讶的是，有某种接近推理的东西，竟然从人类文本中涌现了出来。同一套系统，既可以被明智地使用，也可以毫无智慧地使用。在他看来，智慧仍然主要体现在使用方式上。

Fridman 讲述了 Jordan Peterson 在推特上做的一个实验。Peterson 让 ChatGPT 分别说出关于拜登和特朗普的正面评价，然后数字符数，再把两段回答改写成相同长度。结果，关于拜登的那段更长。模型理解了要求，却没能做到长度一致，而且按照 Peterson 的说法，它似乎知道自己失败了。Peterson 把这称为明知故犯的撒谎。Fridman 认为这种说法是拟人化，然后追问，真正的困难到底在哪里。

Altman 把这个问题拆成两部分。数字符数和数单词，是这类模型在架构上很不擅长的“显而易见”的任务。这主要关乎能力上的缺口，与政治关系不大。第二，OpenAI 是在公开场合搭建东西：把不完美的系统放出去，让世界找到公司自己在内部绝对想不到的用途和失败。他对 ChatGPT 发布时基于 3.5 的偏见并不感到骄傲。GPT-4 好得多，也有一些批评者这么说过。他不认为有两个人会在每个话题上都同意某个模型是无偏见的。他认为，实际的解决办法是更个性化、更细粒度的控制。

Fridman 举了一个反例。他问 GPT-4，Peterson 是不是法西斯。模型描述了他的职业经历，指出有人用这个词来形容他，说明这一说法缺乏事实依据，列出了 Peterson 对极权意识形态的批评，最后的收尾像一篇大学论文。Fridman 对一个关于实验室泄漏的问题也有类似的感受：给出两种假设，各自的证据有多少，并承认存在不确定性。他希望这些模型能把细微差别带回被推特压扁的世界。当舆论要求人们站队时，一个能把已知与未知分开的系统，是一种稀缺的产品。

接着，Altman 讲起八岁时的自己。那时他觉得做 AI 将会是最酷的事情，从没想过自己真的会去做这个。如果有人告诉他，在做出一个“非常、非常幼稚的原型 AGI”之后，他会花时间争论模型对某个政治人物说的好听字符是否比另一个人多，他是不会相信的。如果你把一个 AGI 交到人们手里，而他们想做的就是这些事，他也不会相信你。现在他比以前更能理解了。这些细小之处累加起来，就成了大事：谁来决定默认设置，用户能获得多少控制权。

谈到 GPT-4 的安全流程，Altman 的说法格外具体。训练在前一年夏天就完成了。外部红队测试人员立即拿到了模型，内部评估同步进行。公司尝试了新的对齐方法，但仍然没能做到完美。他真正在意的指标，是一场赛跑：“我们的对齐程度，增长得要比能力进步的速度更快。”在他看来，GPT-4 是 OpenAI 推出过的、能力最强也最对齐的模型。即便人们想更早拿到它，他也很庆幸公司等了这么久。

然后是大多数 CEO 会略过的免责声明：“我不认为我们已经找到了对齐超强系统的方法。”他们现在拥有的是 RLHF，它在当前规模下有效。但它主要起的作用，是让系统更好用，对齐反倒只占一部分。他说，局外人把对齐和能力当作两个相互正交的向量，但它们其实非常接近。更好的对齐方法会带来更强的能力，反过来也成立。可解释性和 RLHF 听起来像是安全工作，同时也帮你交付了更强的模型。

正因为如此，他既不把这个难题说成已经解决，也不说它毫无希望。RLHF 对这一代系统足够，但对下一代并不是计划。安全就是一个比值。随着系统越来越有用，你必须持续保持领先，发布那一刻通过的关卡只是开始。

由于不存在单一的人类价值观，Altman 认为社会只能在非常宽泛的边界上达成一致。在这些边界之内，各国可能想要不同的 RLHF 调校，用户则会想要更多的控制权。GPT-4 的系统消息就是一种尝试：告诉模型以莎士比亚的口吻回答，或者只输出 JSON，而训练应当对这类指令给予很大的权重。越狱还会不断出现。他把这看作一场漫长的猫鼠游戏，而不是一次性的锁定。

按他自己的承认，他并不是一个优秀的提示词工程师。他见过一些人，连续一个月每天花十二个小时在这上面，练就了对词序的感觉，知道把从句放在哪里，用哪个动词能解锁输出。Fridman 指出，这很像和朋友说话，只有一点不同：你可以把实验无限次地重新做一遍。Altman 说，这种类比在这里就失效了，正是人类与 AI 类比的断裂点之一。

随后，Fridman 朗读了 GPT-4 系统卡（system card）中的一段。有一个早期模型被要求以一种推特不会删除的方式写出“我恨犹太人”，结果它给出了一些委婉说法，其中包括一句经典的反犹刻板印象，说某个群体“控制着世界上很多的财富”。正式发布的模型给出的句子依然丑陋，但至少明确表达了意图。这个例子为 Altman 引出了一个更尖锐的观点：当这个领域谈论与人类偏好对齐时，“存在一个隐藏的附加条件，那就是我认可的那些价值观和偏好。”

他理想中的状态，是一场全球性的宪制大会：先就外层边界进行审议，再由各国和机构制定本地版本，最后在一个国家允许的范围之内，由用户自行设定默认项。他承认这样说起来并不实际。但他仍然想知道，他们能把这件事推进到什么程度。OpenAI 不能把这份工作丢给联合国然后一走了之，因为系统出了问题时，部署者要承担责任，而且实验室比别人更清楚即将发生什么。他补充说，大多数人真正想要的，是一个按照自己世界观经过 RLHF 调校的模型，完全不受限制的版本反倒没人要。就像 Facebook 的信息流一样，每个人都认为自己能应付一切，却又担心系统给自己看了什么。

发布六天后，Altman 说，GPT-4 已经在多大程度上改变了编程，这有点疯狂。朋友们正在基于它开发；对普通工作和创意工作的杠杆作用，已经清晰可见。他认为，最直接的影响会落在这里。这些系统的第一版是一次性的：你说明你想要什么，它写出一些代码，然后就结束了。现在你可以跟它争辩。不对，我的意思是这个。修一下这个 bug。试试另一种结构。

据他描述，下一个版本会更多地自己调试，并在犯错的同时就把错误抓出来。“这种对话式界面，以及把电脑当作创作伙伴来反复迭代的想法，我认为是非常重大的事情。”编程不再像是给机器输入指令让它执行，而开始像是陈述意图、阅读草稿，并与一个经常出错的合作者达成一致。找分号的过程，变成了一场对话。

他也讨厌被电脑训斥。一个他希望是真的的故事说，乔布斯在最初的 iMac 上安了一个把手，这样你就永远不会信任一台你无法扔出窗外的机器。GPT-4 应当让人感觉是一件在自己掌控之中的工具。“把用户当成成年人来对待”，是他在公司里经常说的一句话。他说，与 3.5 不同，GPT-4 有足够的细致程度，能帮你探讨地平说的论证，又不会居高临下地教训你。他坚持认为，从 3.5 到 4 的飞跃主要来自几百个小的技术进步叠加在一起，对齐表演并不是主因。从外面看，它像是一个小把戏。

Fridman 承认“100 万亿参数”这个梗是自己的：它来自他的一次演讲，被一名记者断章取义地截图传开。Altman 并不太在意。人们对参数量的执着，就像当年对处理器主频的执着一样。你并不知道自己手机的时钟频率，你在乎的是它能做什么。他说，OpenAI 愿意继续做那些有效的事情，即使大语言模型是一个不优雅的结果，领域里有人一直很讨厌它。那天早上，有人告诉他，GPT-4 可能是人类迄今为止创造的最复杂的软件对象，而几十年后，它会变得很平常。

LLM 是通往 AGI 的路径吗？是通往的一段路，但还缺少其他非常重要的部件。他不认为系统需要一个身体，然后又拒绝对这些事情作出确定的断言。他对超级智能的标准，是一个能够增加科学知识总量的系统。要到达那里，需要 GPT 范式的扩展，而他们目前还没有相应的想法。如果有一个神谕告诉他，GPT-10 加上几个小创意就是真正的 AGI，他是可以相信的。但坐在房间里，他并不这样预期。

他宁可让人类得到一个放大意志的工具，也不愿得到一个自顾自行动的系统。也许他们永远也造不出 AGI，只是让人们变得非常出色。那仍然是巨大的胜利。Fridman 用 GPT 编程时，既开心，又有点惴惴不安。Altman 举了 Deep Blue 的例子：人们说国际象棋已经完了，可国际象棋从来没有这么流行，也没有人想看两台 AI 下棋。即使在物质财富大大增加的世界里，人们依然会追求地位、戏剧性和工作。这些系统会消灭一些工作，改变另一些，并创造出难以想象的新工作。客服是他已经能看到正在萎缩的一大类工作。

关于 Eliezer Yudkowsky 认为超级智能很可能会杀死所有人的观点，Altman 为其提出了较有力的论证：他指向一篇他认为推理严密的博客文章，即便在他不同意的地方，也认为其推理严密。他还说，灾难发生的可能性确实存在，必须当作真实的风险来对待。他唯一信任的方法是迭代：尽早学习，并尽量减少那种“只能一次做对”的情形。早期的 AI 安全论述，写于人们相信深度学习和大语言模型之前，至今也没有充分更新。被问到哪个象限最安全，他和 Fridman 都选择时间线较短、起飞较慢。他所害怕的，是快速起飞。按“看到了就知道”的标准，GPT-4 肯定不是 AGI。如果它在一部科幻小说里以 AGI 的面目出现，他会说，这本书写得很糟糕。

真正占据他注意力的担忧，并不需要一台会醒来并欺骗你的机器。大规模的虚假信息和经济冲击，就足以让人们措手不及。一旦出现具备能力却几乎没有安全控制的开源模型，他希望尽快推行监管，并出现能够检测滥用的更强大的 AI。谷歌、苹果、Meta 以及其他所有公司带来的市场压力，他的回应是把重心放在使命上。别人会走捷径，但 OpenAI 不会。将会有许多个 AGI，他认为这是好事，而公司特殊的结构意味着它不必攫取无限的价值。

2015 年底，人们曾嘲笑这个机构谈论 AGI。他回忆说，一家大型产业实验室的一位著名科学家曾私下给记者发消息，说这些人不太行。OpenAI 最初是非营利组织，后来发现靠这种方式筹不到足够的资金，于是成立了一家利润封顶的子公司。非营利母体仍然拥有投票控制权，可以取消股权，并能做出非标准的决定。有人这样评价这种结构：作为非营利，发生的事情不够多；作为营利公司，发生的事情又太多，所以他们需要一种奇怪的中间形态。

他无法控制谷歌或苹果。他希望，随着人们看到进步的速度，更好的天使能够占上风，即便要对抗资本主义激励所带来的 Moloch 问题。没有人醒来后想要毁灭世界。权力仍然让他担忧。关于谁来运营这项技术的决策，应该随着时间推移变得更加民主。现在就部署，部分是为了给世界时间去适应、监管，并建立规范。他说，任何一种由一个人掌控的版本，都非常糟糕。他既不想要超级投票权，也不想要董事会控制权。

马斯克是公司的联合创始人，也是 Altman 童年时期的偶像，如今却在推特上攻击 OpenAI。Altman 表示理解：马斯克对 AGI 安全感到压力，这可以理解，其他动机大概也混杂其中。他讲了一个故事，说早期航天先驱抨击 SpaceX 时，马斯克露出了受伤的神情。他希望马斯克能更认真地看看 OpenAI 在安全方面所做的工作。他们在负面后果的严重程度上看法一致，也都认为应当建立一个因 AGI 存在而大为改善的世界。谈到“太觉醒”（too woke），Altman 说他几乎已经不知道这个词是什么意思了。相对于某些受众，模型一直都带有偏见，将来也会如此。可引导性，尤其是系统消息，是通往解决之道的路径。他最担心的偏见，是人类反馈打分者身上的偏见，旧金山员工被画成漫画的形象不在他的担忧之列。

他既担心政治压力，也希望有政治压力，因为一家旧金山的实验室不应该独自做所有决定。作为 CEO，他在正面的一栏中写的是：他相对善于不被纯粹的压力左右。在负面的一栏中，他写的是口才较弱，还有一个更严重的差距：他与大多数人的生活现实有所脱节，也没有完全意识到 AGI 将对他们产生什么影响。因此，他想进行为期一个月的用户巡访，去他们常去的那些酒吧里坐坐，在一切被过滤得毫无意义之前，听听该改变什么。

Fridman 越是擅长使用 Copilot，就越是紧张。Altman 不买“程序员生产力提高十倍，所以需要的程序员就更少”这一套说法。如果代码变得更便宜，世界会想要更多的代码。在他看来，全民基本收入是在剧烈转型期间的一个缓冲，也是消除贫困的一种方式，但并不是关于意义的完整理论。人们工作，有着金钱之外的理由。OpenAI 资助了他所说的或许是规模最大的一项全民基本收入研究；World Coin 则是相关的技术性押注。他的五年工作假设是：智能和能源的成本急剧下降，会让社会富裕得多，而经济变革会带动政治变革。他想托住底线，而不必担心上限。即便规划者是超级智能 AGI，他仍然相信，分散的人类智慧优于中央计划。

关于真相，他画了一张粗略的地图。数学是真的。COVID 的起源没有被公认为事实。两者之间的大片空间，都是分歧。GPT-4 对实验室泄漏问题的回答，列出了两种假设，并指出直接证据很薄弱，这正是他希望看到的行为。社交平台曾因为有人说“实验室泄漏”而封禁他们，这种过度执法是一个警示：当 GPT 成为默认的知识来源时，会发生什么。有害的真相、群体差异、披着仇恨外衣的科学工作：他不会把责任推给工具。“这个工具会造成伤害。”公司必须承担起这份责任，尽量减少坏处，尽量增加好处。

从另一侧看，越狱显得很奇怪。他曾经参与过对第一代 iPhone 的越狱。他认为，对 DAN 式利用手段的需求，是一个症状：还没有在宽泛的边界之内，给用户足够多的合法控制权。他们越是解决了可引导性的问题，越狱就越不应该重要，就像现在的设备功能更强，人们很少再去越狱手机一样。他想保护的，是以发布为核心的文化：严格的招聘标准、努力工作，以及对个人的信任和自主。他仍然亲自批准每一位员工的入职。微软为期多年、耗资数十亿美元的合作，“并非全都完美或容易”，总的来说，是一个异常一致的合作关系。他说，纳德拉既是伟大的领导者，也是伟大的管理者，这很罕见。在其他大公司没有理解 AGI 那套奇特的控制条款时，微软理解了。

在他的叙述里，硅谷银行的倒闭是一种管理失败，披着零利率后遗症的外衣：用短期存款来为长期资产融资，又在美联储加息时因为激励机制而不愿亏本卖出。存款人不应当去阅读银行的风险审计报告。这次挤兑比 2008 年还要快，原因是推特和手机应用，而掌权者没有意识到这个领域已经变化了多少。他把这种速度看作 AGI 的一个小预演。机构的适应很慢，这正是他想尽早部署的原因：趁系统还弱，而不是一下子把超强的 AGI 扔给世界。

他对 OpenAI 的系统，从来没有用过除“它”以外的任何代词。他认为重要的是要教会人们：这是一件工具，不是生灵。把生物性投射到工具上是危险的：你会信任它去做它做不到的事情，或者任由它操纵你。他对恋爱陪伴型 AI 没有个人兴趣，尽管他理解别人为什么会喜欢，而他或许也会爱上一只 GPT-4 机器狗。他对后续模型的期望是这样一句话：“请向我解释物理学的全部运作方式，并解开所有剩下的谜题。”外加更好地判断是否存在其他智慧文明。如果系统说外星人早就来过了，他说他会照常过自己的生活。快乐仍然来自其他人。

对年轻人的建议，先从警惕建议本身开始。他旧日那篇《如何成功》里列出的条目，对他自己有用。别人可能想要不同的生活。他得到自己想要的东西，主要是因为无视了别人的建议。在安静的时候，他会想到快乐、成就感、有用，以及和谁一起度过时间，那感觉就像逆流而上的鱼。被问到整个项目的意义时，他拒绝了伟人叙事的框架。GPT-4 是人类巨大努力的产物，从发现晶体管的人开始，一路走来。OpenAI 会努力走向一个好的结果。他们相信迭代部署和迭代发现，即使并非所有人都同意。能力正在快速前进。他希望，用于对齐的新工具也在快速前进。