自我是一段 GPT 提示词：Wojciech Zaremba 谈意识、Codex 与费米的沉默

Lex Fridman 以一个招聘故事开场。Sam Altman 曾经问 OpenAI 团队费米悖论，回答得足够老到，让 Wojciech Zaremba 确信自己来对了地方。Zaremba 不肯宣称自己有定论，他给出的是一个概率：就目前来看，他认为我们在宇宙中可能是孤独的。如果真是这样，有意识的生命就比我们喜欢想象的要稀少，我们也应当据此来看待它。

他听过的最离奇的答案和计算有关。宇宙越冷，你能算的东西就越多，所以一个真正想要最大化浮点运算次数（flops）的文明，也许会拒绝消耗今天的熵，而只是等待宇宙冷却。他并不确定自己信不信。但它确实能解释为什么天空如此安静：向太空扩张，也许根本不是谁的优先事项。一个较温和的版本是，聪明的文明会向内走。把机器接入大脑，可能体验的空间没有明显的上限；而以光速进行三维空间的旅行，却有明显的上限。

Fridman 指出光速很慢，而宇宙非常大。如果我们有朝一日要把物质送到很远的地方，Zaremba 觉得那更像是 Yuri Milner 那种激光驱动的帆：只有几克的有效载荷，一台 3D 打印机，也许还有一个子宫，而不是载人飞船。这幅图景仍然意味着，地球可能会无声无息地消失。考古学看不到那些消亡得足够久远的文明。这个念头让他感到难过。

如果人类自我毁灭，我们应该给下一个到来者留下什么？Zaremba 建议，在轨道上放一块装着维基百科和 YouTube 的硬盘，它会比人的身体存在得更久。前提比工程更难：我们可能会死，而且可能是突然死去。他说，在别处观测到的伽马射线暴，可以杀死一整个星系。那时，可能根本没有地方可以躲藏。

他回顾那些已经消失的文明，其中包括阿兹特克人，猜测它们遇到了一个解决不了的问题。也许是水不能再喝了，而烧开它本来就够用。在这种叙述里，技术是一种扩大行动空间的方式，让更多问题变得可以解决。他补充说，大流行是另一个例子：科学最终还是出现了。Fridman 反驳说，更大的行动空间也增加了那些容易做、却会带来灾难的行动。文明就是这样走向终结的。

那么，我们为什么要污染一个没有人想让它变脏的星球呢？Zaremba 的回答是：资本主义是一种价值体系，只是忘了给我们在乎的一些东西定价。干净的空气，以及没有被破坏的互联网，都可以被白白污染。政治的工作，就是对齐激励：先衡量我们珍视什么，再给它们定价。他认为，更好的投票方式和更好的资金流转方式，都是技术问题；而四年一届的总统选举周期，看起来已经过时了。他不信任自己在这方面的预测。他信任 Sam Altman，并把自己形容为房间里那个天真的嬉皮士：既有自我怀疑，又很乐观。

最稀有的是什么：生命、智能，还是意识？Zaremba 从原始海洋讲起，那是一锅氨基酸和蛋白质的汤，它们彼此相互转化。把每一次转化都画成一条边。他说，生命就是那张图长出一个循环的时刻，同一件事一遍又一遍地发生。你不需要奇迹，只需要足够多的边，让循环变得可能。生命是一个连通性问题。

按照他目前的直觉，智能和意识彼此交织，是连续的，而不是二元的。图像识别网络的激活模式，与猴子视觉皮层的模式相关；语言模型也表现出类似的对应关系。在一个三维世界里训练一个智能体，它起初几乎无法解析场景，然后分出前景和背景，然后找到一只脚，再然后形成真正的三维感知。如果问它转过头会看到什么，一开始的预测是一团垃圾；后来它就会理解，转一个 360 度，应该回到同一个视角。

Dota 智能体会互相配合，似乎还会为彼此携带符号。一旦系统为了提升技能而优化，指代它自己的符号就变得有用了。Zaremba 会把这称为自我意识，并且他小心地把它与意识区分开来：后者是喝咖啡的体验，或者按照 Nagel 的说法，是“做一只蝙蝠”的体验。麻醉提供了一条线索：药物会打乱脑电波，记忆可能无法形成，而意识也随之变得稀薄。有些人根本没有内心的叙述者，在需要它的任务上，就借别人来代劳。他认为，体验可以在没有言语的情况下存在。

Fridman 认为，感受是一种高层的故事，比原始的感觉简单得多，也是一种让人不想死的有用小把戏。Zaremba 转而谈 GPT。你通过在文本开头放一个前缀来控制模型：这是一段与 Lex 的对话，或者是与马斯克的对话，它就会扮演那个角色。我们讲述自己是谁的那个故事，就是这样一个前缀。有些人把它叫作自我（ego）。自我就是一段提示词。GPT 是在全人类而非某一个人的生命上训练的，是一只可以变成任何东西的变色龙。冥想，他后来会说，就是把这段提示词拿掉之后发生的事。

霍金曾问，是什么给方程注入了火焰。Zaremba 想的是：什么给计算注入了火焰。并非每一次计算都是有意识的：他认为，永不停止地乘一个巨大的矩阵，不会唤醒任何东西。他的工作假设是，你可以把物质抽象掉，仍然去问哪些计算可能是有意识的。GPT 的工作，也就是预测下一个词，等价于压缩文本。压缩，就是对现实的模型，加上一份错误记录。开车，预测世界，都是同一个模式。意识可能与此纠缠在一起。自我意识可能就是压缩器在试图压缩它自己。

哥德尔定理和停机问题，都让系统能够指向它自身。如果压缩是基底，那么总有一个时刻，压缩压缩器就变得值得。他把这称为元压缩。他认为，你并不需要超越图灵机的机器，只需要某种特定的计算：一个内部模型，它简化现实，以便预测接下来会发生什么。他说，这也正是他自己的体验的感觉。他没有直接通往世界的线路，只有一根接进一个正在运行模拟的大脑的线。

理论上，存在一种智能的最优算法。Zaremba 讲解了 Solomonoff–Hutter 的图景：一条无限长的比特带，每一个任务都被改写成预测下一个比特，而每一个能产生迄今为止这些比特的程序，都按其长度加权。短程序更有可能。把错误记录下来，即便是一个不完美的短程序，也仍然有分量。他说，神经网络一开始会表示许多可能的解；随机梯度下降（stochastic gradient descent，SGD）会放大那些稍微没那么错的解。SGD 是在程序空间里的一种搜索，而网络的连接方式，就是对这个空间的表示。

这就是他目前对深度学习的定义：能够表示程序的网络，堆叠得很深，使计算可以分好几步进行，再用一种简单到高中生都能推导出来的算法去搜索。Chris Olah 的可解释性工作，从一个识别汽车的网络里拆出车轮检测器和面具检测器，再把它们当作函数组装起来，让这个比喻少了些诗意。经过这么多年的项目，最让人惊讶的仍然是：它居然真的能用。人们几十年前就发明了这些方法，然后放弃了，转而去寻找一种比莱布尼茨的梯度更能抬高自我的东西。

有三个杠杆很重要，而且它们是相乘的关系：算力、算法和数据。他说，内部研究表明，算力带来的收益大于算法，而这背后有资金指数级增长的助力，但这种增长不可能一直持续到 10 万亿美元。如果你试图把突触对应到参数上，大脑相比网络仍然大得惊人。今天的模型似乎还需要比人类多大约 1000 倍的数据；他预计会出现降低样本复杂度的算法，也会出现数据多出 100 万倍的领域，让这个差距不再重要。超人类的心理治疗是其中一个赌注：一台机器能读的谈话记录，比任何临床医生都多，而且能同时与许多人交谈。他暂时不会在高风险场景里部署它。共情在数据里多少有些信号，但谈话记录只是第一步。光靠 YouTube，你是学不会跳舞的。

如果 AGI 是一个增加财富的项目，Zaremba 想要的是第二个项目，用来提升幸福感：心理治疗、冥想、人与人之间的联结。在他看来，联结就是理解。被忽视很痛苦；被倾听，即便没有建议，也已经很多了。被问到什么是爱时，他依然停留在 AI 的比喻里。智能是压缩，是对正在发生之事的模型。在它旁边还有奖励函数：食物、温暖、性，还有其他人。两个人之间的爱，是边界逐渐消融，直到彼此优化的都是对方的奖励，而不是你以为对方应该想要的东西。如果配比权重搞错，就会变成共依赖。即便是一个人，也不是统一的：甜甜圈看起来很诱人，另一个自我却想要肌肉。自爱，就是这些人格的结合，包括那个愤怒的人格。

为什么要把爱写进人类的处境里？进化优化的是生存，然后交给我们压缩能力和一堆奖励，其中一些现在已经超出了分布范围（out of distribution）。爱看起来是合作的结果，而合作也让我们每个人都受益。我们已经足够强烈地认同家庭和国家，以至于人们会为它们去死。开放式个体主义（open individualism），也就是认同越来越大的群体，最终认同全人类，在他看来，对世界来说会是一步好棋。

Fridman 问，这个圈子在哪里停下？为什么不包括其他有意识的生命，为什么不包括那些看起来在受苦的 AI 系统？Zaremba 希望在那里也有共情，但他要的是意识的科学，而不是哲学俱乐部。人们曾经相信过生命的活力之力。像 Neuralink 正在做的那类脑部探测，也许能让你去询问：把 AI 接入之后，是否真的扩展了某个人的感受场。但要附带一个说明：迷幻剂能扩大人的报告，它们自身却未必有意识。他希望能走到这样一个地步：我们足够理解这东西，从而可以给它赋予价值。即使像美国交通部给一条人命标价约 900 万美元那样，给一头牛的意识标价，会给我们惹麻烦。

Zaremba 不相信魔法。大脑运行着一个模拟，它可能令人愉快，也可能如地狱一般；药物会改变超参数。这已经足以让人回顾一段体验，并看到你以为理所当然的东西其实是可以改变的。DMT 带来的内在影像进一步让他相信，大脑已经学会了一个高分辨率的现实模型，足以将它重放。他已经开始把冥想看作一种迷幻体验。在静修中，你不说话，也不与任何人对视。注意力落在呼吸上。被遗忘的记忆浮现出来，就像在整理邮箱，直到清零为止。他说，底下的默认状态是平和而快乐的，对寻常物件有一种孩童般的好奇。

只要静止得足够久，你平时分散在各种活动里的小小奖励就会不断累积，直到越过某个门槛：一滴水落入爱的海洋。在灵修圈子里，有些人把那称为现实。他认为，那是一类令人愉快、彼此协作的主观体验，他希望世界能朝着更多这样的体验前进。GPT 的比喻又回来了。自我是提示词。冥想，则是在没有提示词的情况下体验事物，按它们本来的样子，而不是按描述所说的应该怎样。当自我消解时，大脑会尝试模拟其他所有人的奖励函数，比如合一感、利他的念头，然后自我总会回来。

他的建议不是每天十分钟。小剂量的冥想很容易被忽略；静修就是大剂量。从一个周末开始。如果你在等它结束，或在等涅槃，那么头一两天会很难熬。腿会疼。老师会告诉你去观察不适，而不是逃避它。想要逃开的冲动本身，就是那个不舒服的部分；被观察之后，它就只是它本来的样子。Ilya Sutskever 用冷水澡来拥抱痛苦。Zaremba 的做法是观察水在身体上流动，而不是想着离开。他和 Fridman 都认为，这也是熬过长跑或任何其他痛苦的办法：不要抵抗，去观察。

Ilya Sutskever 是 OpenAI 的首席科学家，也是 Zaremba 的亲密朋友。尊重是双向的，但 Zaremba 清楚自己擅长什么。他认为 Ilya 是世界上最多产的 AI 科学家之一。他自己的超能力，在那个圈子里并不常见，就是把人聚集起来，并将他们培养成研究经理，然后并不占住那个位子。Ilya 不喜欢管理。Zaremba 则是一个喜欢社交的外向者。两者正好契合。

他认为，才华并不是某一篇侥幸的论文。如果一次突破的几率是百万分之一，那么两次独立的突破就是万亿分之一。反复做出发明的人，并不是在走运。Ilya 就属于这一小群人。这种方法看上去很老派：大量阅读，然后花时间思考，接着数学就出现了，就像当年高斯和欧拉那样。Fridman 形容和 Ilya 聊天，就像看一架不需要跑道的飞机。Zaremba 对同一点的解释是环境层面的。两人都会刻意地切断联系。Ilya 留着一台 iPad。Zaremba 会去另一个城市的 Airbnb，关掉手机，让自己无法被联系。反应式的忙碌长不出新想法，而且他越老，随机堆来的任务就越多。

睡眠也是同一场斗争的一部分。他曾试过每隔几天少睡半小时，结果撞上了一堵疲惫的墙。夜里工作，以前意味着没人会打扰你；而他曾因此睡过了和 Greg Brockman 定在下午 5 点的第一场会议。真正改善他状态的，是日历：会议只安排在周一和周二，周三到周五则不在办公室。三天的专注，胜过熬到天亮。

GPT-3 是一个在互联网上训练、用来预测下一个词的巨大神经网络，它在这项狭窄的工作上变得极其出色。这项工作之所以重要，是因为相当多的问题都可以被改写成文本补全。问它谁是总统。用 EN: 和 FR: 的格式排一个玩具网页，模型就会翻译。把一段与马斯克的对话格式化，它就会谈火星和可持续的未来，语法和句法都没问题。你甚至可以要求它扮演一个友好的 AI 机器人，它也会照做。Fridman 想强调这种模仿有多完整。Zaremba 补充了一个前提：它能写出几段连贯的文字，然后就会跑偏，写不出一本书。

失败模式很具体。模型是在人类已经写过的东西上训练的，而不是在它自己的错误上训练的。你告诉扮演的马斯克，马斯克是你的妻子，它就会配合；真正的马斯克会说，这是什么鬼。生成过程中没有人在回路里，所以错误会不断累积。人类也有同样的问题，只是频率更低；而孩子会被纠正，因为他们扎根于现实。Zaremba 说，缺失的数据，是关于人类如何学习的数据。智能本身有很多维度。他预计，系统会在某些维度上超过人类，而在另一些维度上仍低于人类；如果所有维度同时翻转，他会感到惊讶。GPT 是通往月球的飞船，还是永远到不了的梯子，目前仍是一个经验问题。他是个建造者：试一试，看看会怎样。到目前为止，进展还没有停下来。

他信任的部署策略是迭代式的：发布略微更好的版本，让其他人批评它们，找出真正的问题。另一种做法，是手握一个强大的系统，积压着巨大的潜力，然后一股脑地倒进世界。Fridman 问了一个斯大林式的问题：如果你掌握了 AGI，权力会不会腐蚀你？Zaremba 希望由一个大型集体来控制这套系统，这就需要一步 George Washington 式的操作：道德罗盘足够强，能够在权力的巅峰把它交出去。各国之间的 AI 竞赛，会诱使人们用“对抗中国”的防御逻辑来欺骗自己。他又一次把判断交给 Altman，后者写过关于对股权而非利润征税的文章，也花钱支持过全民基本收入的实验。自主武器，他很难对其进行推理。他记得的，是一台他在缺觉时编写的遥控车：时速 30 到 40 英里（约 48 到 64 公里），程序卡住了，它没有转弯，直接撞上了墙。最底层的工程师和 CEO 都需要这种认真。不过，恐惧会让人丧失行动力。他宁愿从爱出发来做事，而他所说的爱，是一种对共情的严格践行：考虑的是别人的奖励函数，而不是把自己的投射到别人身上。

GPT-3 里已经有一点编程能力：要求一个加法函数，你就能得到 Python 或 JavaScript。OpenAI 全力推进，希望打造一个擅长其内部员工日常所做工作的系统。Codex 是 API，先在语言上预训练，再在大量代码上训练，并针对延迟等方面做了优化。GitHub Copilot 是第一个产品。以前的工具只会补全几个字符或一行；Copilot 则会给出 10 行。最自然的界面，是一段描述你想要什么的注释，然后就是函数体。Zaremba 已经不再去搜索代码片段了。他写道，一个数组需要平滑处理，模型就会导入一个库，用一个他自己都不知道存在的 NumPy 卷积函数，然后把事情做对。没有人知道它能输出的小程序的完整空间，也没有人知道其中微妙的错误与灾难性的错误各占多少。它在大量情况下竟然能用，这一点仍然让他感到惊讶。

与 Stack Overflow 页面不同，Copilot 能看到整个本地上下文：你使用的库，以及作用域里已有的变量。他们内部也尝试过其他产品。日历、Word、Photoshop 都开放了 API。如今，每一个新行为，都意味着一个新按钮。有了 Codex，你可以说：下周下午 2 点之后，跟 Lex 安排一个会，它就会写出那段调用。这更接近 Siri 和 Alexa 曾经承诺的东西，而无需为每项技能都硬编码。他希望能在手机上用语音编辑文档，因为键盘太小，而“把标题放大，把段落往下挪”本来就是人们说话的方式。

把 Codex 放在更长的时间线上看。计算机始于穿孔卡片、一群祭司般的人，以及一种觉得别人不需要接触它的怀疑。汇编和 C 把起点抬高了。C++ 到 Java 和 Python 再一次做到了这一点。每一次跳跃，都让更多人能够编写软件，让技术得以扩散。Codex 是另一步：用你的语言跟机器说话，而不是用某种专门的语言。他希望从事 DNA 研究的生物学家，无需绕一大圈去学语法，就能编程。语言很难自动评分，得由人来判断一个句子是否通顺。一个程序是可以运行的。你可以观察它评估的结果，编写单元测试，甚至可以设想一个会为自己写测试、并在循环中不断改进的模型。这种反馈，就是他预期代码的进步会快于散文的原因。他不会一上来就拿核电站练手。但他也不会为了一个要多出一千行代码的 2 倍提速技巧而动心。五行代码的，他会收下，而这需要你愿意删代码。

在 Codex 之前，Zaremba 领导 OpenAI 的机器人团队。强化学习（reinforcement learning）已经做出了超人类的围棋和 Dota 2 智能体。问题在于，你能否训练机器去解决物理世界中的任意任务。工业机器人是针对每项工作优化的，开瓶器只为瓶子设计，这种取巧让任何一项任务都变得更容易。人手就像五条小小的手臂，能操纵各种各样的物体。他们选了一个问题，如果它做成了，就会很有意义：用一只机器手解魔方。选它是因为任务和硬件都无法硬编码。难点不在魔方算法。难点是别把它掉了，并让那些手指能转动各个面。

现实世界中的强化学习需要比机器人所能提供的更多数据，所以他们转向了模拟。在模拟中，数据是无限的，问题在于保真度。最后迁移成功的模型，训练时用的是一整套模拟魔方，而非某一个，摩擦和重量都做了随机化，共模拟了数千年。一个带记忆的网络会学到：在按到一个很硬的面之后，下次要按得更用力。这就像你做卧推时忘了杠铃片已经换过，之后所做的那种调整。他说，实体机器人的麻烦之处在于维护、不可重复性和延迟。一位同事的魔方求解器看起来神奇地更好，直到他们意识到，他是在一台 CPU 更好的笔记本上运行的，所以延迟更小。在现实世界中，你不可能总是给一个庞大的网络额外五分钟去思考。

几乎没有像文本和代码那样存在的第一人称机器人数据。如果他今天要创办一家机器人公司，他不会忽视监督学习：可以在一台已经有市场契合度（product-market fit）的机器人上，花大约 1000 万美元记录人类遥操作的数据，然后用这些轨迹去训练。长期来看，他想要具备 GPT 级理解能力的视频模型，也就是 DALL-E 对图像所暗示的那种常识。Fridman 猜测，价值一万亿美元的机器人公司会是自动驾驶，而他自己的想法则指向家庭。Zaremba 的顾虑在于多样性和接触。焊接是重复性的工作；把一个托架装进特斯拉，就不是这么回事了。驾驶则尽量不去触碰任何东西。一只需要抓取不断变化物体的家用手臂，又是另一种难度，而它的价格必须降到大约 1000 美元，家庭才会购买。他相信，特斯拉的数据引擎（部署、收集边缘案例、标注、再部署）就是正确的路径。信任像一块容易裂的玻璃。最好的论点仍然是让人们去尝试，这也正是 Copilot 所发生的事。

被要求给出智能的基准测试时，Zaremba 给出的是一台能证明黎曼猜想的机器。基准测试会随着我们逼近而失效；没有终极测试，而我们会对奇迹习以为常。他认为，进步将首先出现在数字空间里，在那里数据可以被记录，你可以以物理硬件做不到的方式，部署给数十亿人。数字商品的价格应当趋近于边际成本，也许是零。他依然希望与其他人有身体上的接触，而这在电脑上我们目前还无法复制。10 年之后，真人与非真人对话者任意混杂，也许会成为常态。他认为，如果系统在对话中持续学习，并以对现有内容的预训练作为骨干，那么令人信服的 AI 友谊是可以做到的。没有身体的联结现在已经可以想象：人们在网上坠入爱河。文本是最容易的一层，然后是图像，然后是触觉和嗅觉，作为数据和部署的最后前沿。

他希望拥有一个祝他过得好的 AI 朋友，而不是一个为使用时长做优化的系统。有些人类朋友，你几个月都不跟他们说话；他们并没有死死抓住你。训练系统朝着对话记录中更有爱的那一步去做，或者给它这样做的奖励。Fridman 怀疑偶尔遇到的混蛋是不是一种特性，因为光需要暗来衬托。Zaremba 讲了一个静修里的故事：毛伊岛的一位女士吃了一份混有带神经毒素蜗牛的沙拉，昏迷了一年，听着人们像她不在场那样说话，五年后她仍然感激自己能动一动脚趾。也许我们需要黑暗才能看见光。也许我们可以设计捷径。他相信挣扎是必要的，每一部超级英雄电影都这么说，但他并不认为我们必须制造昏迷。

对他来说，新颖的想法始于追问：为什么没有别人尝试过这个？学术界把固定的数据集视为定律，这让在整个互联网上训练看起来像是在作弊。打破这个假设。先大量生成想法，在中途不要评判它们；一句“这是个坏主意”式的打断，会扼杀下一个想法。床边放一个语音录音机，胜过一部发光的手机。他高中时曾在睡梦中解决数学问题；现在他会为重要的问题而非紧急的问题，预留大块的时间，并且保护自己的早晨。对年轻人来说，建议几乎简单得过分：追随你的热情，忽略那些说你笨的人。有一位中学老师就曾这样说他的数学。小时候，他合成过炸药，因为爆炸是一个毫不含糊的奖励信号。对于要进入机器学习的人：从零实现一切，从论文实现，也从播客里学来的东西也要实现。你以为自己理解了一段描述，直到你亲手把它做出来，你才真正理解它。生成类的工作，比如 GAN、语言模型，以及比 CLIP 更能体现这一点的 DALL-E，让魔法变得可见，而人类似乎在创造本身上也有某种奖励。

他写道，美是你全神贯注去关注的东西；贴近看，蟑螂也是美的。长时间的冥想会提高分辨率，直到一张桌子或一支笔都变得令人愉悦，就像童年时那样。拥有的东西则走向相反的方向：你会习惯，一座美丽的房子不再带来回报。死亡是一种根本性的恐惧，常常未被察觉，而变化才赋予事物意义。短暂的、自我消融式的迷幻体验，似乎能治愈一些人。Ilya 有时会说，人生会过去，40、50、60、70 岁，然后就结束了，这是现在就行动的理由。Zaremba 喜欢 Jeff Bezos 的“最小化遗憾”框架：在临终的床上，为那些你没有尝试过的事情而遗憾。他不会给死亡赋一个负无穷的奖励。那样的奖励会让你不敢过马路，而且它会把数学搞乱；一生的价值是有限的。他这段时间所用的框架里，生命的意义就是大脑中已经存在的那些奖励函数：好奇心、联结、理解。你可以把它们稍微重新调校。有些，比如最大化财富，不会让人满足。他说，它们和复数一样自然，与其说是发明的，不如说是发现的。