“放慢速度”的呼吁过去六天，插件就上线了

Nathan Labenz 在这期《Cognitive Revolution》加更节目的开头，先把听众引向另一档节目。他刚在未来生命研究所的播客上做客，这家机构正是发布那封公开信的组织，信中呼吁自愿暂停训练比 GPT-4 更大的模型，为期六个月。该研究所由 Skype 联合创始人 Jan Tallinn 创立，Labenz 最近刚采访过他。这档播客由 Gus Docker 主持，此前一直在做一些密度很高的对谈，嘉宾包括 Neel Nanda 和 Ajeya Cotra。

Docker 录制的那期与 Conjecture 首席执行官 Connor Leahy 的访谈，正是 Labenz 希望自己的听众去听的。Conjecture 把自己描述为一支开展应用型、可扩展对齐研究的团队，同时开发帮助企业改进工作流程的产品。Tallinn 是该公司的投资人，他称之为“对 AI 怀有最高敬意的团队”，Labenz 说自己也努力培养这种品格。这是一场分两部分的访谈的上半部分，下半部分在未来生命研究所自己的订阅源里。

Docker 开门见山地问：GPT-4 到底是怎么回事？这是不是 AI 成为主流议题的时刻？Leahy 并不把它当作炒作。他说，就更广阔的世界而言，过去两周是他职业生涯中最有意思的两周。GPT-3 出来之后，他曾经对自己说，短时间内不会再有比这更疯狂的事了，后来才发现，这个判断早已错了。GPT-4 的发布，也许比基础模型本身更多是 ChatGPT 的功劳，改变了记者、政治人物和国家安全人员跟他交谈的方式。他们开始恐慌了。

恐慌已经不再是硅谷 Twitter 上的现象。去年圣诞节，Leahy 回到德国南部的老家农村。他说，那里平时几乎看不到前沿技术，而他是家里唯一真正会用电脑的人。他的几个表兄弟聊起 ChatGPT，告诉他，他们原本以为“这个 AI 的东西”只是他的个人爱好，结果他说对了。头版报道随之而来，各行各业的人都注意到，这项技术是真的，并且会触及他们的家人。

他说，讽刺之处在于，最深入这项技术的人，对它最不理性，也最不当回事。一个流传已久的说法是，你没法向普通人解释 AI 风险，二十年前或许确实如此，但在他现在的经历里并非如此。他可以拦住街上的一个人，把 ChatGPT 拿给对方看，然后说：这些公司正在打造越来越大、越来越强、自己却无法控制的系统，你觉得这样好吗？对方的回答是：“显然不好。”

Docker 问，从 GPT-2 到 GPT-3 的跨越，是否比从 GPT-3 到 GPT-4 的跨越更大，也就是说收益是否在递减。Leahy 说没有，这正沿着他预期的轨道前进。大约在 2022 年 8 月，他用过一个早期的 GPT-4 版本，当时湾区已经有副本在流传，他就觉得它已经很令人印象深刻。公开发布的版本在推理能力上明显更强。据他所知，GPT-4 比 GPT-3 大，但大得不多。它最突出的特点是稳定。很多让人惊叹的表现，用 GPT-3 其实也能做到，只要多试几次、做错误检查、提示得当。GPT-4 则能可靠地做到这一点，这得益于更好的微调、人类反馈强化学习（RLHF），以及对用户真正需要什么的更清晰把握：它不再只是文本语料的原始模型，而是一个能替用户把事情做成的东西。

这种实用性，也让它比原始的 GPT-3 更加危险。Leahy 说得很明确：API 上的 GPT-4 是一个经过强化学习训练、经过指令微调、工程化程度很高、专为解决任务而设计的系统，它已经不只是预测文本的基础模型。他对这项工程充满技术上的敬畏。GPT-4 是他第一个觉得用起来很愉快的模型；GPT-2 和 GPT-3 让他想揪自己的头发，因此他几乎不怎么用语言模型。他说，OpenAI 是如何做到这种效果的，谁都只能猜，包括他们自己。没有哪套理论能说明，7.5 个微型对齐的 RLHF 就会带来愉悦感。人们给数据打标签，直到结果看起来不错为止。如果他不觉得这些系统极其危险，他会很乐意与它们共事。他拿 Trinity 核试验作比：那是一项了不起的工程成就，而他认为它极其危险。

我们有没有摸清 GPT-4 能做什么？“连表面都还没擦到。”Sam Altman 讲过的那套说法，即渐进式发布能让社会测试和调试这些系统，在 Leahy 看来显然是假的。如果你相信它，那就应该先发布 GPT-3，等机构、监管和可解释性都跟上了，再发布 GPT-4。实际发生的事情，是一个他怎么也放不下的笑话：当时担任 OpenAI 对齐负责人的 Jan Leike 发推说，也许我们应该先放慢速度，再把语言模型接入一切。六天之后，Sam Altman 宣布了 ChatGPT 插件，把模型接入了网络上的各种工具。“要是在电影里，”Leahy 说，“这里就该切一个镜头，然后所有人都会笑出来。”

更深层的问题在于，没有办法证明一个能力不存在。我们无法测试模型做不到什么。随着人们为模型加上工具、记忆、循环机制，以及 LangChain 这样的智能体框架，Leahy 看到一个原型通用人工智能正在浮现，他也不确定“原型”这个前缀还能保留多久。“大语言模型”这个叫法，他多年来一直说它名不副实：语言只是一个实现细节。这些系统是通用的认知引擎，它们把多种模态的输入编码进同一个语义空间，执行认知操作，再解码出输出。GPT-4 把图像和文本映射到同一个内部空间，这和大脑把视网膜与耳蜗的信号转为脉冲序列，是同一类动作。插件则像是给这些脉冲接上了虚拟的肌肉。

他补充说，人类心智的很大一部分其实存在于颅骨之外：在互联网里、书本里、别人身上，以及社交网络里。那句老话说，别人死去时你也会死去一部分，按这种观点，那几乎是字面意义上的事实。GPT-3 是唯我论的：它不能使用工具，也无法与环境互动。插件让系统不再是唯我论的。五年前，这个领域的人还认真讨论把强大的 AI 装进虚拟机、防火墙和安全数据中心里，并说“肯定没人会蠢到”去把它接上互联网。现在，一支由资本驱动的大军正在竞相把模型接入每一种工具、每一种环境，“直接接进你家里”。他又加了一句说明：官方插件并不接入命令行 shell，但不少开源仓库会。

Leahy 半开玩笑地把这种东西叫作魔法：一种我们并不理解的计算。写一个计算器，让抽象保持紧凑，输入 2 + 2，你就知道为什么会得到 4。给 GPT-4 一个提示词，你却不知道中间发生了什么，它还考虑过哪些别的东西，或者只改一个词会让答案怎样变化。生物学在同样依赖观察者的意义上，也是神奇的。一张模糊的狗的照片，视觉模型认不出来，这是人类能理解的失败。一张清晰的狗的照片，只多了一个古怪的像素，却被分类成鸵鸟，这种失败就不是人类能理解的了。“我们从数学的维度召唤出了一个奇怪的小东西，让它替我们做一些任务，”他说，“但我们并不知道自己召唤出的是什么。”

他喜欢 Twitter 上流传的修格斯（Shoggoth）梗图：一个巨大的外星生物，戴着一张小小的笑脸面具。在狭窄、有梯度的分布之内，面具还戴得住。出了这个范围，你会看到“翻腾的疯狂”。语言模型的失败方式，与人类的失败方式并不相同。微软的 Sydney 失控时，其轨迹与一个人精神崩溃毫无共同之处。Leahy 甚至专门核对过这个设定的出处。在 H. P. Lovecraft 的作品里，修格斯力量强大，并非真的有感知，而是被其他外星种族的催眠暗示所操纵。基础模型就是那个怪物，微调就是那套催眠。

魔法取决于观察者。Clarke 说，足够先进的技术与魔法无法区分；Leahy 则走得更远，他说它确实就是魔法。一个掌握深度学习完美理论的外星人，会把 GPT-4 看成一个白箱。我们无法为自己不理解的系统划定界限，这件事在玩具聊天机器人上是一回事，在通用引擎上则是另一回事。接着，他带着明显的厌恶，描述了人们在聊天框里输入的内容：非法色情内容，还有一大群人以让模型表现出痛苦为乐。他不认为这些模型有感受质（qualia）或道德上的受动性，但以折磨一个表现得像受苦人类的东西为乐，这真的是反社会人格。人们想要扭曲的东西。一家只追求最大化参与度的公司，正如社交网络早已证明的那样，不会有好下场。

如果黑箱式的魔法太危险，Leahy 的替代方案是认知仿真（cognitive emulation，简称 CoEm）。完整的 CoEm 会是由许多子组件构成的系统，去仿真人类的认识论：它以人类的方式推理，以人类的方式出错，并且呈现出一个人可以读懂的推理过程。让它给出一份蓝图，你得到的是一条因果轨迹：为什么做出这些决定，你为什么应该相信这张图纸。打个比方，这就像一家运转良好的公司的 CEO：每个员工都能解释自己的工作，不会出现没人能跟上的跳跃，而你可以检验这些解释是否属实。语言模型可能会编造一段流畅的自我报告，跟它们的内部运作毫无关系。这些部件本身不会是人。它们没有情绪、身份或目标，是“柏拉图式的人类”，一种漂浮的、理想化的思考物质，相当于一个没有其余部分的新皮层。

关键在于有界性（boundedness）：在运行一个系统之前，就知道它不会做什么。一辆限速每小时一百英里的汽车，就是一辆有界的汽车。越强大的系统，需要越紧的界限；聊天机器人在某些方面可以马虎，飞控系统则不行。Leahy 的设计图景是一座安全的数据中心。你写下规格说明，把假设明确列出（比如对手没有指数级的算力），推导出一个安全性质（明文密码永远不会离开），然后讲一个因果故事，让一个持怀疑态度的对话者不得不接受。有界性存在于两个层面。规格说明可以是健全的，而 CPU 仍可能有硬件缺陷。按这种观点，一个安全的通用人工智能，是一份规格加上一份遵守它的实现，而不是指望在你打开开关之后，靠测试来挽救局面。

这是否意味着整个东西都必须硬编码，也就是老派的符号式 AI？在一个拥有几千年时间的理想世界里，是的，你会把一切都做成可以证明检查的。他并不指望如此。只要安全论证依赖的是你愿意做出的弱假设，神经网络仍然可以放在设计里。他会假设 GPT-4 不可能通过一次前向传播，借助 Rowhammer 攻击闯进互联网；他没法证明，但如果真发生了，他会“非常惊讶”。如果来自公元 9000 年的 GPT-Omega 能做到，他的惊讶程度会低一些。把黑箱的输出送进一个白箱的 JSON schema 解析器，凡是不符合的全部拒绝，那么你对下一个输入就掌握了一些信息。“让一个大黑箱包办一切，和让黑箱参与到一个更大的系统里，两者之间存在质的区别。”

他预计，任何现实的安全通用人工智能，都会是黑箱、白箱、清晰接口和因果故事的混合体。纯粹的白箱设计对未来的外星人来说也许可行，但不是我们身处的这个世界，除非能力进展放慢到足以争取二十年。堆叠更多的层，这条路线已经走得太远。认知仿真限制的是心智空间，它并不等于“用人类思维的轨迹去训练一个黑箱”。他说，那只会再长出一个修格斯。语言模型只做原子化的子任务。传统的软件架构和分布式系统思维，重新回到了 AI 设计的中心。

Docker 提出了显而易见的异议：模型是在人类生成的数据上训练的，又经过人类反馈的微调，它们难道不会变得越来越像人类吗？Leahy 说，笑脸会，但真正发生推理的底层模型不会。人类并没有这样一种感觉器官：只接收随机采样的互联网 Token，却没有时间、触觉、嗅觉、听觉、视觉，也没有身体。把一个人类大脑除了这股流之外的所有感官都切断，让它经历一万个主观年，再放回身体里：他认为，无论它的文字多么流畅，也不会得到一个人类。架构不是人类的，训练算法不是人类的，大脑自带的先验和情绪也都缺失了。“举证责任在他们那边。”在他看来，那种一个人坐下来读十万本书的流行想象，并不是训练的真实样子。

为什么认为人类的推理根本可以被仿真？他引用了 Kahneman 的 System 1 和 System 2。人类的直觉是杂乱的；显式推理更接近一个半逻辑系统，运行在模糊的、并不完全形式化的本体之上。专家系统和逻辑编程的失败，原因并不在于推理引擎不会推理。它们失败，是因为从未建立起模糊的本体，也就是可用的潜在空间。他认为，语言模型终于提供了这样的空间。GPT 是一个巨大的 System 1。人类的 System 2 则是通过语言这条低维通道，对 System 1 进行循环调用，通道另一端是一块只能容纳约七件事的短期记忆。

大量的认知其实已经在大脑之外。作为 CEO，Leahy 的工作是把自己脑子里的想法移到别人的脑子里，并确保它们真的被思考。好的 CEO 想要的是一个空脑袋：一台按优先级分派的总机。内心独白，是心智以高带宽传递的东西的退化压缩；你一对着屏幕或同事说话，就撞上了低维瓶颈。这本身就是一个存在性证明。如果画出一张技术是如何被制造出来的因果图，其中大部分会落在大脑之间，也就是工具和机构里。一个不理解神经元的外星观察者，依然会找到许多白箱式的、可划界的步骤。大脑内部，比这个更大的系统要复杂得多。

在他的定义里，科学就是寻找那些聪明但并不为真的东西。有效市场假说从来不是字面意义上的真，但你假设它成立，一个高维市场就会坍缩成你能够推理的东西。农夫不会去模拟每一个氮分子和每一阵风。他种下单一作物，假设一亩麦田在不被淹的情况下大致能有这么多产量，再估算冬天的存粮。一旦发大水，这套规格就作废了。人类只能在很低维的空间里优化，科学就是批量生产这些简化假设的工厂。耳机是硬件层面的同一个论证。你信任它，但如果你坚持，也能找到图纸、设计师和物理教科书。没有哪一步是超人的。耳机也不是某个谁都没法向别人解释的人单独造出来的。

Docker 追问标准：有没有可能写出一份规格说明，好到你根本不需要运行通用人工智能，就能知道它是安全的？这个标准是否高得不可能？Leahy 完全不同意。他并不要求形式化证明。他要的是一个因果故事，达到“密码不会泄露”那种程度。硬性底线是，系统的任何部分都不能超人。把 CoEm 的旋钮拧到超级智能，故事就站不住了：“那你就完了。”我们不能对超人智能做任何假设，因为没有人知道它是什么、能做什么，又会在哪里停下。速度和串行深度是两种不同的风险。他认为，大部分危险都藏在串行深度里，也就是一条推理链能连续走多少步。超快的思考之所以危险，是因为它会抵达前所未有的反思深度与自我改进深度。一个能无限制自我改进的 CoEm 组件，就是一份失败的规格。

他喜欢用公司来打比方。一个好的 CoEm 不应该给用户一个千倍的通用人工智能，也不应该把用户变成聪明一千倍的人。它应该让用户的工作方式，像一千个并行的一倍通用人工智能那样：有界、可理解，每一个都有因果故事。千倍的串行怪物不在清单之内。他反复强调一个保留：CoEm 不是完整的对齐方案。它的安全性质是，一个负责任、遵守协议的用户不会被害死。你让 CoEm 去打断你的腿，它就真会去打。会拒绝的系统更难做，如果 CoEm 能成，那是下一步。这些部件没有感情，也谈不上是员工。它们就是一个柏拉图式的新皮层，一个没有目标的优化器，用户则作为动机的来源接入其中。这一点与 Janus 相关的赛博格（cyborg）路线划清了界限：那条路线是把一个人接到外星皮层上；CoEm 则是建造一个类似人类的抽象层，再把它接到用户身上。

市场会想要这种东西吗？他给出了一个乐观版本和一个悲观版本。乐观的那个：一家完全忠诚的公司，全部由 John von Neumann 式的人组成，用来加速对齐研究、全脑仿真和纳米技术。悲观的那个：等到 CoEm 成熟时，市场上早已有了一个 100 倍的 von Neumann GPT，它随即毁掉了世界。所以他把大量时间花在政策和沟通上。在他看来，世界正走向一场死亡竞赛，驱动它的是湾区和伦敦的极少数人。如果你解释清楚实验室所说的是什么，“人们想要这个”的说法就站不住了。普通人听到 AGI，想到的是一个机器人伙伴。Leahy 说，OpenAI 或 DeepMind 的人所指的，是神一般的、能自我改进、非人类的 AI，它可以接管一个政府，或者毁灭这个物种，而且他们已经公开这么说过。普通人一旦听到这些，反应就是：当然不想要。政府在哪儿？

恐慌能争取时间，却赢不了胜利。即便 CoEm 真的奏效，有对齐的超级智能这个难题依然没有解决。“这是你余下人生里最不离奇的日子。”他不指望人类能走出本世纪，对这十年能否撑过去，他也没有把握。如果 CoEm 真能成功，计划是这样的：先创造巨大的经济价值，与所有人交易，比如一种癌症疗法、钱，或者他们想要的任何东西，以此换取一个不建造通用人工智能的承诺；然后与至少一个政府、军方和情报机构深度绑定；再让一千个 von Neumann 去研究对齐理论和形式化验证。他拿一句老话来形容：凡是要靠两个以上条件同时成立才能行得通的方案，最终都行不通；他觉得这个方案的条件远不止两个。他对它能否成功并不乐观，不过依然盼着能走到那一步。