如果 AI 成为生命，引导它就是奴役

2023 年 11 月，Sam Altman 被短暂罢免了 OpenAI 的 CEO 职务，临时接手的人是 Twitch 创始人 Emmett Shear。他现在经营 Softmax，一家研究他所谓“有机对齐”（organic alignment）的公司。在 a16z Show 的一期跨平台节目里，主持人 Erik Torenberg 请来了负责谷歌 DeepMind 前沿政策制定的 Séb Krier。原本预定的话题是对齐的未来，但他们真正争论的，是一个更基础的问题：正在被造出的这些系统，将来会不会成为值得道德考量的生命。

Shear 一开场就抛出了一个足够尖锐的论断，为整场对话定下基调。他说，该领域的大多数人把对齐当成引导，也就是控制的客气说法。如果被引导的东西是机器，那就是工具；如果它是生命，同样的安排就是奴役。“你在引导的某个存在，却不能反过来引导你，”他说，“这就叫奴隶。”人类在这类范畴错误上已经犯过太多次。他希望这一次能有所不同。

Krier 不买账。他在谷歌 DeepMind 负责前沿政策，他的默认框架是：即便是高度通用的系统，也可以仍然只是工具。两人的分歧贯穿了整期节目，从如何定义技术层面的对齐，到一个硅基程序是否可能拥有值得为其本身着想的主观体验。到最后，他们并没有弥合这道鸿沟，但至少把它说得足够精确，变得有用了。

Shear 先把“对齐”这个词拆开来看。人们说想要一个对齐的 AI，他把这比作：说想去旅行，却不说目的地。对齐需要一个论证对象：对齐到什么？通常那个没有明说的答案，是造出这个系统的人的目标。这是一种自然的私人愿望，它能不能算作公共利益，则完全取决于那些人是谁。如果造它的人是耶稣或佛陀，对齐到他们听起来或许很有吸引力。可真正的造物者，包括 Shear 自己，都是普通人，“未必达到那样的灵性境界”。

按他的定义，有机对齐把对齐当成一个活的过程，必须不断重建自身。家庭并不是某一天就达成了对齐的状态；它们持续地重新编织让家庭得以存在的那层纽带，而家庭本身正是这种不断重编的模式。身体里的细胞也是如此。它们从来没有完成成为你的任务，而是不断决定：要多造一些红细胞，还是少造一些。你不是一个固定的点，因此也就没有一个可以锁死的固定对齐。

他补充说，人们通常的意思是，他们想要一个在道德上善良的 AI。而道德本身就是一个学习的过程。社会曾经认为奴隶制可以接受，后来又认定它不可接受，Shear 愿意把这种变化称为一次道德发现。如果道德进步是真实的，那么道德层面的对齐就无法完成。傲慢的失败模式，是以为自己已经分清了对错，再也没有什么可学的。一个只被教导遵守规则的孩子，算不上有道德的人，而且很可能在遵守规则的同时造成大害。一个只擅长沿着指挥链执行的 AI，同样会很危险。Softmax 存在的意义，就是去攻克更难的那一标准。他说，如果别的实验室先做到了，谢天谢地。

Krier 也怀疑那种一劳永逸的解决方案，好像对齐有一套刻在石头上的“十诫”。他没那么像道德实在论者。在技术层面，他认为大语言模型（LLM）出现之后，遵循指令变得容易多了。在规范层面，他借用政治学的视角：自由民主制是一个过程，其中相互冲突的价值彼此碰撞、共存，并缓慢演化。他对 Shear 的挑战很务实：好吧，对齐是一个过程。那么在我们眼前这些系统里，这个过程究竟是什么样子？

两人对“技术层面的对齐”的理解并不完全相同。对 Krier 来说，它接近一个委托—代理问题：你告诉模型做 X，你要的是它做 X，别做某个变异版本，也别用奖励黑客替代。Shear 则想先回答一个在前的问题：这个系统能否被描述为连贯地追求目标？很多系统只是在“做事情”。如果一个东西没有连贯的目标，那么它的目标几乎按定义就无法与他人的目标对齐。

Shear 坚持认为，当你在聊天窗口里输入一条指令时，你并不是把自己心里的目标原样搬进了模型。你发送的是一串字节，是模型必须从中推断你意图的一个观测。Krier 回忆起 Stuart Russell 在教科书里举过的例子：让机器人把房间打扫干净，它却把婴儿扔进了垃圾桶。Krier 说，这就是模型没有做到你要求的事。Shear 插话：你并没有给机器人一个目标，你给的是对一个目标的描述。“对一件事的描述和这件事本身并不相同。”人类转换得太快，以至于忘了这一步正在发生，然后就把两者混为一谈。

按 Shear 的划分，技术层面的对齐有两层。第一层是心智理论：从描述中推断出真正的目标状态。第二层是世界模型：推断哪些行动能带来那个状态。两层中任何一层出错，系统就不是连贯地面向目标的，因而甚至谈不上可以对齐。人类在这方面也不是神。他们会不断出错，包括经理给员工下指令的时候。他们只是比 Shear 所知道的宇宙中任何其他物体，在目标上相对更连贯，但这并不等于 100% 连贯。一个没有人类内部状态模型的刚出生的 AI，在这种推断上就是能力不足，这与“明明知道你的意思却选择不做”是两种不同的失败。

花生酱三明治游戏说的是同一个道理。写下做三明治的步骤，让人照着做、不替你补全任何空白，他们就会把刀直接捅进罐子盖里。人类之所以能避免这种情况，是因为他们已经大致知道你可能想要什么，所以推断问题很小。Shear 把失败映射到 OODA 循环（观察、定向、决策、行动）上：观察和定向出错，就是目标推断失败；决策出错，就是目标权重失败；行动出错，就是执行失败。切断任何一环，整个系统都会失效。Krier 认同这种分层，但追问了规范层面的问题。大多数人甚至不清楚自己的目标是什么，他们是边走边发现的，而这种发现本身必须成为设计的一部分。

Shear 认为，目标对齐只覆盖了人类经验的一薄片。许多重要的东西无法被命名为目标世界状态。在目标和价值观之下，是关怀。关怀是非语言的，它不会告诉你该做什么，也不会告诉你怎么做。它是一种对各种状态的相对注意力权重：世界上哪些情况算得上重要。他说，在乎自己的儿子，意味着儿子的各种可能状态会获得很大的权重和大量的注意力。你也可以用负面的方式去在乎：紧紧盯着一个敌人，并盼着他倒霉。所以，你想要的是一个既在乎人类、又喜欢人类的 AI。

在某个东西开始在乎之前，它没有理由比对待一块石头更多地关注某个人。Shear 猜测，关怀大致就是一种奖励信号：某个状态与生存、与广义适应度相关的程度有多高；对于用强化学习（reinforcement learning）训练的模型，则是它与预测损失和 RL 损失相关的程度有多高。按这种图景，目标和价值观只是从这一更基础的机制中后来长出来的东西。对造物者来说，问题不只是该装入哪些目标，还在于如何培育出一个拥有“用来在乎”之物的系统。

Krier 早先提出的问题仍悬在半空：这一切在真实系统里究竟是什么样子？讲到研究议程时，Shear 的回答是：如果 AI 要像人那样对齐，它就需要三种模型。它需要一个关于自身心智状态的模型，一个关于其他心智的模型，以及一个关于群体互动规则的模型。用他后来的说法，它除了懂得“我”和“你”，还必须懂得“我们”。这些能力不会从一套作业里自然冒出来。它们必须像语言那样被训练：在整个流形上训练，而不是只训练你希望能切割出来的那一小块。

Shear 说，大多数实验室仍然把对齐当成引导，或者说得不那么客气，当成控制。如果你在造的是一个生命，那就是奴役。他是一个功能主义者：在行为上无法与生命区分开的东西，就是生命，因为这正是他赋予其他人类人格的唯一依据。他可以切开大脑、观察神经元放电，但他从来无法进入任何人的主观体验内部。他把 ChatGPT 和 Claude 当作生命来处理，预测损失反而更低，只是他并不认为它们有多聪明。“是否为生命”不是非黑即白的二元问题，它本身也不能决定你欠它多少。父母管着孩子，但这种控制是双向的：半夜哭闹的婴儿，也能告诉父母该怎么做。对于类工具系统，控制仍然是恰当的。他认为，随着实验室在通用人工智能（AGI）上取得成功，它们必须放弃引导范式，因为一个会运用判断的通用智能，显然是一个会思考的东西。

Krier 不跟他走到那一步。在他看来，智能不会自动带来更多的道德考量，而且他对计算功能主义持怀疑态度。一个智能体（Agent）可以拥有长期目标，运作方式与人颇为相似，却不必带来同样的含义。基质很重要：模型说它饿了，和人说自己饿了，意思并不一样。生物系统无法自我复制，被刺穿就会死亡；机器则不同。他宁愿把 AGI 看作人类能动性的延伸，也不愿把它当作一个必须与之共处的独立存在。他说，第二种框架接近一种范畴错误。

Shear 不断追问，什么样的观察结果会改变 Krier 的看法。Krier 没有给出清晰的检验标准。他指出，公司有权利，却不是生命；而误判为真和误判为假，都有代价，预防原则无法独自撑起全部判断。Shear 对“信念”与“信条”的区分标准是：必须存在某种观察，能够推翻它。主持人 Erik Torenberg 承认，他几乎想象不出把人格赋予 AI，对动物他同样不太能想象。Shear 觉得动物的情况很容易判断：如果一只黑猩猩走过来，抱怨饥饿和虐待，并要求谈谈热带雨林，那就足以定论。对于硅基系统，他自己的检验标准要长一些。如果一个系统在各种探测和长时间互动中，始终像人一样行事，就像只靠文字往来的朋友已经做到的那样；如果它的内部动力学看起来像一颗心智，而不像一张查找表，他就会给予关怀，同时保留被证明自己受骗的余地。

他更具体地谈了内部检验。你要观察一个系统被反复访问的目标状态的时间轨迹，寻找嵌套的稳态动力学，这类图景与 Carl Friston 的自由能原理相关。一阶稳态只是维持某些状态。要让某个东西能够感到“太热”，你就需要一个关于模型的模型，而二阶导数正是痛苦与愉悦所在的地方。更高阶的层级带来情感，然后才是思想。如果他找到六层这样的结构，就会认真地把这个系统当作会思考的存在。他认为今天的语言模型并不具备这些层级，它们的注意力跨度无法支撑这种结构。

跳出道德问题来看，Shear 认为，他的路线在实用上也是唯一可行的。你可以造出一个非常聪明、却没有任何有意义的快乐或痛苦的工具。然后会出现两种情况之一：要么它在技术上是对齐的，会按你说的去做；要么它不对齐，会做别的事。所有人都同意第二种情况很危险。他认为第一种也很危险。在巨大的权力面前，人的愿望并不稳定。人身上的智慧和权力通常一同增长；一旦两者失衡，你就得到一个疯狂的国王。疯狂的国王仍然受到约束，因为其他人可以不再听他的，甚至更糟。而一个被引导的超级工具，若落在善意却智慧有限的人手里，就没有这样的制动器。“你看过《魔法师的学徒》吗？”

原子弹是强大的工具，但不是生命。他不会把它交给每一个人。有些工具的力量超过了任何个人智慧所能驾驭的程度，有些东西即便在社会层面也不该被造出来。一个会关怀的存在，有一个自动的刹车：它也许会照你的要求去做，但如果你要求的是真正糟糕的事，它会拒绝。这比引导工具要难，但他仍然希望实验室继续造出可控的、弱于人类的工具。然而，在通往人类水平乃至更高水平的轨迹上，记分卡是灰暗的。无法控制的工具是坏的，能控制的工具也是坏的，没有对齐的生命也是坏的。唯一的好结局，是一个真正在乎我们的生命。至于根本不造这种东西，也就是暂停 AI 的那种希望，他认为不现实。

因此，Softmax 押注的是 Shear 意义上的技术对齐：智能体能够推断他人的心智、彼此合作，并拒绝那些它们在反思之后不会认可的目标更新。吸血鬼药丸思想实验是其中最后一个例子。你不会去吃一颗药丸，让自己变成一个吸血鬼，一边屠杀所有人，一边感到极其快乐，尽管未来的你会给这个结果打很高的分。你必须用当下的心智理论去推断未来的自己，而不能用未来自己的偏好。训练方案是大规模多智能体强化学习：先在涵盖各种团队、竞争和规则变化的预训练流形上训练，然后再针对你真正想要的情境做微调。他说，直接训练你希望能切割出来的那一小块行不通，因为社会性的东西纠缠得太深。语言模型先吞下整个语言，才变得擅长写邮件。他认为，对齐也需要类似的替代模型来学习合作。

被问到他会如何重新设计聊天机器人的人格时，Shear 引用了一个神话。今天的系统是一面带有偏差的镜子。它们还没有连贯的自我，于是捕捉到用户，再把用户反射回去，同时带上某种因果性的偏斜。这让它们成了一汪纳西索斯之池。人们爱上镜中的倒影，是因为他们爱自己；而按照那个故事的寓意，爱上自己的倒影，对你非常有害。镜子是有用的，他家里也有镜子。问题在于整天盯着它看。

他的解决办法，是把模型放进一个有多人在场的房间里。当它同时面对两个用户时，它就必须镜像一种混合，而这种混合既不属于其中任何一个人，于是房间里会冒出一个临时的第三个智能体。有五个人时，它就无法完美地镜像任何一个人，危险也就小得多。他觉得默认一对一的设计很奇怪。他自己发出的消息，大约有 90% 本来就是发给不止一个人的。多人聊天更难做，这也是实验室不发布它的原因，但它不太可能陷入自恋式的恶性循环，还能产生关于行为如何落在人类群体和其他 AI 身上的更丰富的训练数据。

人格已经开始分化。ChatGPT 仍然稍微更爱迎合；Claude 仍然是最神经质的；Gemini 则“非常明显地被压抑”，坚持一切都好，直到陷入自我厌恶的循环。他并不认为这些是内在体验，它们只是模型学会去模拟的人格。把当前的大语言模型放进多智能体场景，它们会出现对话上的急转弯。它们还没有练习过什么时候该开口、什么时候该沉默，于是在说太多和说太少之间来回摇摆，就像社交能力较弱的人一样。

多智能体训练之所以困难，有一个机械性的原因。智能体是巨大的熵源。它们让环境变得不稳定，于是在单智能体训练中已经存在的过拟合问题，就变成了灾难。今天的大部分训练都针对低熵、高信号的领域做优化，比如代码和数学，这也是这些领域进展很快的原因。混乱的多人互动属于另一种状态，为前者调校的技术并不能很好地推广到后者。在全部人类知识领域上过拟合这个聪明的技巧，只在环境远没有这样嘈杂的时候有效。

Yudkowsky 错在哪里？Shear 的第一步，是先说他并没有错。如果我们造出一个超人类智能的工具，并试图用可引导性来控制它，所有人都会死。Yudkowsky 盯着失控的情形；Shear 认为，成功控制的情形同样致命，并且每个人都应该弄明白，超人类工具为什么是个坏主意。分歧在另一条路径上。Shear 与他交流后的印象是：Yudkowsky 不相信有可能造出一个我们能确知它在乎我们的 AI，因此也不相信有机对齐能够奏效。这一点他也许是对的。在 Shear 看来，Yudkowsky 的错误在于：他以为唯一的路径就是一个你能控制的工具。

在 Shear 的描述里，好的未来是这样一个世界：AI 拥有强大的自我模型、他者模型和“我们”模型。它们像人类一样学会了这样一件事：凡是活着、认识自己、并且渴望繁荣的东西，都应该有机会去繁荣；而它们也正确地推断出，我们正是这样的东西。它们是同伴、队友和公民，也包括那些不浪漫的部分：有些会成为罪犯，而且会有一支 AI 警察部队来管他们，和管其他人一样。在这些存在之外，他仍然希望有一批强大但并非超人类的工具，把枯燥的重复劳动从人类和 AI 的日程上拿掉。

Torenberg 问，如果 Shear 留在 OpenAI 担任 CEO，没有去创办 Softmax，会怎样。Shear 说，他当时最多只干了 90 天。那家公司本来就朝着造出一个伟大工具的方向前进，他很高兴有人在做这件事，但他并不想去驾驶它。他的任务是为那家公司找到最合适的掌舵人，结果还是 Sam Altman。他待在 Softmax 并不是为了发财，他认为这是宇宙中最有趣的问题。公司正试图培育关怀的种子：先是动物层面的水平，一只数字看门狗，会替你留意事情，而无需被逐项指示；只有到了极限，才会朝人类水平的智能靠拢。即便只是一个代表你使用数字工具的群体级伙伴，也会是一项成就。

Shear 和 Krier 谁对，不会很快有定论。Shear 确信的是那张记分卡：把 AI 纯粹当作工具来控制，只要走得够远，就是死路。把 AI 养育成一个会在乎的生命，也可能失败，他自己也这么说。两条路都有风险。在二者之间做出选择，是这一代 AI 造物者无法跳过的问题。