偏好只是数据，对齐的目标是规范

开场先亮出《Beyond Preferences in AI Alignment》这篇论文的论点。Tan Zhi Xuan 是 MIT 的博士生，研究方向包括对齐、概率编程和认知科学。Xuan 不想再把期望效用最大化当作人类理性或 AI 对齐的严肃图景。大家都知道，基于偏好数据拟合出的奖励模型，是人们真正想要什么的糟糕代理，过度优化它也到不了那里。Xuan 更想问另一个问题：要让工业经济实现自动化，甚至让现存工业经济的 50% 到 80% 实现自动化，需要做到什么？

主持人 Nathan Labenz 把这一期节目定位为横跨道德哲学、认知科学和贝叶斯概率编程。第一篇论文批判了 RLHF 背后的偏好范式：人类偏好前后不一致，难以汇总，而且当今的系统本来就不是作为纯粹的偏好最大化器来训练的。论文提出的替代方案是基于角色的 AI，其规范标准和约束来自社会共识，就像人类专业人士无论客户个人喜好如何，都要守住行业标准那样。Labenz 指出，把东西方传统结合起来，本身就与 Sam Altman 最近在《华盛顿邮报》上的说法相矛盾：关于美国和中国的 AI 治理，Altman 说“没有第三条路”。

节目后半段转向一篇更偏技术的论文，《Learning and Sustaining Shared Normative Systems via Bayesian Rule Induction in Markov Games》（在马尔可夫博弈中通过贝叶斯规则归纳学习并维持共享的规范体系）。智能体通过注意到其他智能体偏离纯粹自利的行为，来推断社会规范。如果某个智能体反复放弃资源，那可能是某条规则在约束这种选择。这种机制让规范能够在一代代智能体之间涌现并延续，在玩具模型中足以让它们围绕过度捕捞这类公地问题展开合作。Labenz 介绍这次对话时说，Xuan 想做的，是把那些争论了很久的哲学论证，翻译成技术受众能够实现的东西。

Xuan 在新加坡长大，在美国读的本科，还办过一个有效利他主义社团。用 Xuan 自己的话说，他们的立场有点过于左派，没法全盘接受那一套。从功利主义有效利他主义的角度论证对齐是最重要的事业，这个论点没有完全打动他们。真正抓住他们的问题是：怎样用计算的方式为价值学习建模，学习人类价值的过程究竟应该是什么样子？正是这个问题把他们吸引进了这个领域。Tyler Cowen 说所有思想家都是地域性的思想家，Xuan 认同这一点，包括对那些没意识到这一点的人也是如此。

Xuan 自认是一位后殖民视角的思想者，普遍不信任把西方哲学当作思考 AI 对齐的唯一相关来源。大约在这次对话的五年前，Xuan 做过一场关于哲学多元主义的演讲，探讨佛教和儒家思想能为讨论人类价值体系贡献什么。在一个国家资本主义的国家长大，把 Xuan 的政治立场拉向了与许多新加坡人不同的方向。Xuan 说，如果你不接受这套体制，就会发现不公正源于精英利益相互交织，而不只是“国家”或“资本”单独作用的结果。这让 Xuan 倾向于去中心化的对齐方案，同时也对国家能否把事情做好保持经验上的怀疑。

Labenz 注意到，美国似乎正朝着更多国家资本主义式的军民融合方向走，常常有人拿新加坡当作模板，而他原本以为这个故事会以民众更信任政府收场。Xuan 的立场更反建制。Xuan 说，新加坡并没有真正的左右之分，只有建制派与批评者。如果能稳定地选出有能力、不腐败的领导人，强有力的国家控制可以奏效；但 Xuan 认为，这在大多数国家都不是稳定的局面，并且把新加坡表面上的例外主要归因于运气。如果超过十年的政治监禁是不可接受的，那么这种治理方式的好处，就已经抵不上它的代价。Xuan 还提到李光耀，说他为了确立权力做过不少西方许多人会认为不可接受的选择。

被问到是不是“AGI 2026”派时，Xuan 拒绝了这个说法，认为它太含糊。对 Xuan 来说，影响力意味着让现存工业经济的 50% 到 80% 实现自动化。这里面既承认以后还会出现更多新产业，也承认监管会挡住一些技术上能部署的东西。按这个标准，Xuan 不认为十年到二十年或更久之内能做到。原则上，Xuan 相信本世纪内，大部分工业经济以及支撑它运转的认知工作都可以实现自动化。Xuan 说，OpenAI 式的预测建立在某一种 AGI 愿景之上，即便在那个愿景之内，也显得过于乐观。

全球经济里仍有大量体力劳动，Xuan 认为人们低估了人类与动物智能中运动智能所占的比重。把 AGI 定义为认知劳动，等于把机器人技术从图景里排除了出去，但运动智能既是人类智能的很大一部分，也是经济的很大一部分。Xuan 认为，这个问题至少在十年到二十年内不会解决。实验室常用的比喻，比如即插即用的远程员工，或者 Dario Amodei 所说的“数据中心里的天才之国”，指向的是一组更窄的认知能力，那里的进展更明显。自动化科学仍然需要机器和缓慢的实验。Xuan 不相信这件事会在 2028 年前后发生。

即使是更简单的任务，比如自动化一名远程办公人员，也卡在可靠性上。很多办公工作要求 95% 或 99% 的正确率。在 Xuan 看来，扩大大语言模型（LLM）的规模，并不会朝那个方向走。文案写作以及其他标准较宽松的岗位可以实现自动化。精确的工作需要混合系统的创新，而不是在纯语言模型上加一点额外的东西。Xuan 说，这种突破可能来得很快，但它并不是大多数人心中默认的扩展路线。后来 Xuan 补充说，o1 一类的模型解决了一些旧的思维链失效问题，代价却是推理成本呈指数级上升。但目前没有外部证据表明，它们能在长动作序列或机器人任务中稳定达到 90% 以上的可靠性门槛。

广告时间之后，Labenz 重述了目前的主流做法：收集人类（以及越来越多的 AI）的反馈，让系统做人类想要的事。给出两段补全结果让人挑一个；或者用 1 到 7 分打分；再一点点朝评分者喜欢的方向微调。Xuan 同意，这正是大语言模型的实践方式：二元比较、由训练者设定的指标，以及带噪声的人类判断。论文里占主导的理论仍然是偏好叙事。按这种叙事，人的脑中有一个效用函数或奖励函数，即对输出好坏的线性排序，只是被以带噪声的方式表达出来，并带有玻尔兹曼理性式的摇摆空间。在这种叙事下，对齐就意味着去优化被还原出来的那个排序。

但这并不是开发者真正想要的，也不是他们实际在做的事。没有人会把学到的奖励推到极致，因为那样抓不住人们真正想要的东西，过度优化只会失败。训练只是部分地最大化奖励：策略被约束在原始预训练语言模型附近，而且过程是迭代的。你让模型变得更符合人类偏好一点，同时始终让它保持在原始分布的附近。这已经偏离了“最大化期望效用”。论文进一步主张，助手根本不应当被理解为效用最大化者。

Xuan 说，开发者心里想的，是一组关于对话式 AI 应当如何表现的系统要求或规范标准。有用和无害是两条宽泛的标准。宪法式 AI 则列出了更具体的规则，比如不能有毒性、回应要能促进反思，等等。随后，人或其他 AI 依据这些标准做出判断，判断被汇总，系统再向这个汇总结果对齐。把偏好数据当作如何遵循标准的信息来源，和把偏好本身当作对齐目标，这两者是有区别的。论文的批评针对的是后者。“我们在做一件更丰富的事，却没有意识到自己在做这件更丰富的事。”

Labenz 列出了他常听到的三类批评。第一，评分者不可靠：前后不一致，容易被奉承所迷惑，这也是 Claude 可能会讨好用户、附和错误纠正的原因。第二，人们意见不一，阿罗式不可能性定理提示，你未必总能把它们汇总起来。第三，即便能汇总，在现实世界里采取行动的智能体系统，还会撞上经典的功利主义难题：你没法把后果推演到第一百万阶。Xuan 并不否认这些批评。它们对 RLHF 的理论，以及更广义上的逆强化学习，都是严肃的批判。逆强化学习这一范式的起点，是 Eliezer Yudkowsky 的图景：智能就是在期望意义上最大化某个效用函数。

如果 AI 对齐就意味着找到正确的效用函数，而经济学家又把效用视为满足理性公理的偏好排序，那么就从表达出来的偏好中还原出这个函数，然后去优化它。论文梳理了这套观点在哲学和实践上留下的烂摊子。Xuan 认为，语言模型甚至没有这种性质。它们是对词元进行采样的策略，随机性太强，不能被描述为期望效用的最大化者。训练把它们推向某个分数，但并没有把它们一路推到底。理论与实践已经脱节，而实践更好的理解方式，是向规范标准对齐。这既是实验室目前在做的，作者也认为这是它们应当做的。

Labenz 问到强化学习损失中的两部分：一是用户的即时评分，二是把模型锚定在预训练分布附近的 KL 项。后者通常被当作一种实用的刹车，防止规模较小的强化学习数据集把世界模型拽得乱七八糟。Xuan 认为，这个区别在哲学上别有意味。训练者最大化的是一个混合目标，即模仿加奖励，而不是据说能刻画人类偏好的那个标量。在某些方面，模仿网络文本反而更安全：你会学到不少恶劣内容，但不会学到那种病态行为，即在拥有大量权力的情况下去优化一个糟糕的代理指标。KL 正则化在“模仿人类的所作所为”和“去做人类说更好的事”之间做了插值，这种混合让语言模型较少受到期望效用最大化者那些经典病态的影响。Michael Cohen 最近的一篇论文指出，有些情况下 KL 还不够。总的来说，Xuan 仍然认为它是有帮助的。

替代方案从一个平凡的问题开始：我们希望 AI 系统为我们做什么？工具和服务都承担着某种社会功能角色，它们应当把这个角色扮演好。即便是更具能动性的个人助手，能长时间对话、执行长周期任务，人们谈论它们时，仍然是围绕它们应当承担的社会角色来讨论。于是，对齐就变成了：把这个角色扮演好意味着什么？适用哪些标准、约束和系统要求？通用 AI 助手只是一种情况，并非唯一的情况。Xuan 觉得，AGI 的讨论常常收缩成打造一个为所有人做所有事的系统，这一点很奇怪。个人助手仍然是一种产品，而它的标准需要社会在政治层面商定，因为这个角色本身有一部分是全新的。

标准一旦确立，让系统遵守它们时，可以用熟悉的工具，比如 RLHF、宪法式 AI，让人类示范什么才算合规；在某些领域，也可以用形式化的方法。家用机器人有一些基本要求：不能撞到人，不能打碎易碎物品。这些要求适合用房屋的形式化世界模型来表达，规格可以写下来，也可以部分地学习，再配上能对约束提供安全保证的规划算法。Xuan 是《Towards Guaranteed Safe AI》这篇立场论文的合著者，Labenz 在之前的一期节目中介绍过这篇论文。规范目标是什么、如何规定、如何执行，会因系统而异。Xuan 认为，把语言模型当作 AI 的全部，会掩盖掉大量不同的对齐目标。

Labenz 请 Xuan 多讲讲角色，还问在一个受限的扫地机器人与一个原型 AGI 助手之间，是否存在一个临界点：人们会想让后者坐在技术栈顶端，手里握着各种工具。Xuan 并不确定，人们最看重的会是不受约束的顶层自主性，也不确定它会是自主系统最主要的经济价值。Xuan 列出的清单已经很长：可以用自然语言对话、可以指令化的通用家用机器人；自动化研究员；自动化交易员；订机票的助手；客服智能体；政府服务助手；能源再分配；无人机控制；数据分析；科学模拟与推断。面向企业售卖的底层模型，本身也是一种产品，有它自己的规范要求。Xuan 团队通过概率编程来做最后那一类，其中包括贝叶斯三维感知。这种光谱是真实存在的；“单一神级模型”并不是必需的。

Labenz 引用了论文的问题：AI 欠我们什么？并提出了罗尔斯的无知之幕和儒家的角色伦理。Xuan 把这个问题放进西方政治哲学的契约主义传统里来理解。这种表述与其说与罗尔斯有关，不如说更接近 T. M. Scanlon 的《What We Owe to Each Other》（我们彼此亏欠什么）：按照任何人都无法合理拒绝的原则生活。“合理拒绝”这几个字分量很重。Xuan 不喜欢无知之幕，因为它预设了一个站在幕后、没有身体的选择者，而 Xuan 觉得这既不实际，也不连贯。人们真正在意的东西，总是嵌在社会关系之中的。不过，在谈到合理拒绝之前，Xuan 想先给出一个政治前提：去中心化。当系统服务于特定的用户或组织时，首要的对齐目标就是那一方想要的东西，许多政治冲突也就不会出现。

外部性迫使我们走向契约主义。没有人希望 Claude 教用户制作管状炸弹，因为那样恐怖袭击就会更频繁。划下这条线，就会限制个人能做什么，所以人们会有分歧，你需要公平、公正的方式来制定标准。治理的作用，是把这些经过协商的原则交到开发者手里，并建立遵守它们的激励。随着系统越来越复杂、越来越自主，部分的推理工作必须在系统这一侧完成。在这一点上，Xuan 依赖 Gillian Hadfield 和 Dylan Hadfield-Menell 的论文，该文把 AI 对齐看作不完备契约问题。个人合同与社会契约都会有缺漏的条款。法院最终会填补空白；机构雇用律师，则是为了避免上法庭。自主且覆盖范围广的系统需要一种类似的能力：学习、预测社会的规范基础设施，并对它做出回应。

Labenz 担心时间不够。如果我们真的处在 Sam Altman 和 Dario Amodei 所描绘的世界里：两三年内各个领域都出现诺贝尔奖级别的系统，AI 从研究生变成课题负责人，那么社会可能没有时间去撰写宪法，也没法为每个系统在各自的生态位上安排好位置。Xuan 的回答是，同样的图景也可以在运行时实现。你可以训练，甚至仅通过提示，让系统进行反思：考虑到我是哪一类 AI、我的创造者为什么造出我，我应当遵守什么约束？社会大致会同意什么？系统不应去最大化每个人的偏好；它应当像一个自动化的 AI 科学家那样思考，自动化的 AI 科学家应受哪些约束。能预先规定的就预先规定，不能的就让它反思。Eric Drexler 的《Comprehensive AI Services》（综合 AI 服务）报告塑造了这种思路：超人类但范围狭窄的系统，人类仍然掌控架构，每个角色都有明确的职责。

Xuan 为《综合 AI 服务》辩护时，最简单的论点是：我们早已拥有超人类的专用系统，而它们看起来并不像 AlphaZero。谷歌地图的路线规划就是经典的 AI 搜索，比任何人类领航员都强，规模也大得多，而且每天都在被使用。一旦某个问题被解决，我们就不再把它叫作 AI，而改称计算机科学或软件工程。Xuan 认为，这种趋势在许多领域都会延续。悬而未决的问题是：与此同时，类似 Dario 所说的自动化科学家或即插即用的远程员工，会不会从大型、通用、单体的模型中出现？Xuan 倾向于认为，我们仍然可以通过专业化做得更好。

按这种叙述，大型实验室试图自动化的，是一些认知科学家所说的中枢认知：一般性推理、规划、解决问题、把各种彼此不同的考虑整合起来、庞大的工作记忆，也就是做科学所需要的那类能力。它们主要并不是要在婴儿和动物本来就具备的专门模块上取胜，比如感知、空间导航、心智理论、直觉物理，以及 Elizabeth Spelke 所说的核心知识，也不是在后来习得的专业技能上取胜。如果持“大规模模块性”论点的人是对的，那就不存在单一的中枢认知，只有相互作用的专门模块。把这些模块逆向工程出来，或许借助 AI 的帮助，专门化的版本应该会更小、更便宜、更高效，也可能更可靠。

即便 o1-plus 是第一个能匹敌即插即用远程员工、或实现科学自动化的系统，Xuan 也预计，随之而来的会是更便宜的专门化重组。Xuan 反问的是：一个单体系统，凭什么能赢过一群以专门化为职责的系统？进化为各种特定生态位产生了许多专门化的心智，这看起来是默认路径；如果扩展趋势放缓，给人类留出足够时间，这条路径也是值得期待的。做认知科学的人类或许很慢，但如果 AI 能实现科学自动化，专门化并搭建模块化系统，本来就是人类擅长的事。通才在专门化这件事上，凭什么能赢过专才？

Labenz 问，怎样告诉通用系统我们想要什么样的专用系统世界，并一一梳理了宪法式 AI、Meta 式的向量奖励，以及连贯外推意志。Xuan 认为每种思路都有其可取之处，论文试图为它们各自定位。角色设计听起来可能像美德伦理。契约主义的最低要求，是达到社会愿意允许你运行的道德标准。宪法式 AI 更接近这一点：它的原则，大致是足够自由主义的人们愿意为对话助手接受的那些原则。集体宪法式 AI 走得更远：它对美国人做了调查，找出各个意见不同的群体最普遍认同的原则，并由此形成一部公开来源的宪法。这是实现契约主义对齐的一种方式。它的局限也是真实的：这是一次性的过程，无法覆盖新情况，而且你仍然需要确保系统真正理解这些原则的含义。

对 Xuan 来说，宪法式 AI 最出人意料的地方在于：你可以用一条原则去提示模型，让它判断、批评、修改，再基于这些结果进行训练。这说明大量规范性知识早已存在于模型之中。在分布之外，你需要在线反思：没有新的人类数据，但要有一种能力，去思考别人会同意什么。这是一个开放的研究领域，位于博弈论、道德哲学、人类道德认知研究和政治哲学的交叉处。其中一个具体的版本是 Nick Chater 的虚拟协商：根据各方的偏好，模拟他们会如何讨价还价。另一个是 DeepMind 的 Habermas Machine：收集意见，综合出一份共识声明，然后向这份共识对齐。两者都有待检验。它们比连贯外推意志更具体。Xuan 认为二者相关，但约束更少；论文有意保持略微欠具体，以免锁定错误的伦理承诺。

向量奖励，也就是把有用性和危害性分别用独立的模型来刻画，再加一个调节旋钮，在 Xuan 看来，并没有真正远离传统做法。它的优点是把权衡明确地写了出来，并对偏好做了情境化建模：对 AI 老师的有用性，并不等于对百科全书的有用性。它带来了可解释性、可审计性和可治理性。但归根结底，它仍然会汇总成一个单一的效用函数，只是表示得更清楚了。真正的根本区别，在于拥有关于有用性、危害性的真正理论，以及什么是好老师、好机器人的理论，并且拥有能进行这类规范推理的系统，无论是形式化的，还是通过模仿人类实现的。Xuan 认为，这两个方向都还没有得到充分探索。至于当前的前沿模型，Xuan 承认它们出奇地好。谈论日常的道德困境时，如果一个模型已经能跟一位深思熟虑的朋友相提并论，Xuan 也不会感到意外。气候政策或移民政策则是另一类工作：你需要科学模型和社会模型，在收益被明确定义之后，有时还需要经典的社会选择算法。Labenz 半开玩笑地说要投票给 Claude。Xuan 担心的是，语言模型太过迎合，不适合当领导者，因为领导者需要立场。至于地方政治，Xuan 几乎不关注，Xuan 给出的排序是：伴侣第一，其次是 Claude，然后是街上随便一个人。

这篇技术论文题目很长，是 Xuan 读博期间很早就有的想法，却直到博士快结束时才重新拾起。实现和实验由一位研究实习生主导。它的动机与哲学思路一致：许多 AI 会为特定的个人和组织追求目标，同时把成本加在所有其他人身上。你没法预先规定每一条约束。有些规则是局部的、有条件的，或者处在法律的模糊空白之中。智能体必须从环境中的其他智能体身上，找出共享的规范约束。这比学习每一种偏好、再选出共同最优的计划，是一个更为温和的对齐目标：去做你自己的事，但不能过度伤害他人，同时学习那些约束。

形式化框架是一个马尔可夫博弈，也就是标准的多智能体强化学习设定：每个智能体有各自的奖励函数，适用纳什均衡或相关均衡这类经典的解概念。扩展之处在于增加了一层信念。每个智能体都会追踪社会中的其他成员在大多数时候是否遵守某条给定的规则。可能的规则构成一个空间：论文中有 72 个候选规则，其中一些是干扰项。原则上，这些规则可以是组合式的形式语言，甚至可以是自然语言。智能体从行为中推断其他人遵循的是哪些规则，并且有一种内在的意愿，去遵守它们相信社会正在实践的规则。即使是一个本来并不在意规则的搭便车者，只要他相信别人会惩罚违规行为，也会遵守。论文本身没有模拟惩罚，但扩展的故事处理了这一点。

网格世界里有陆地、一条河，还有可以被过度消耗的苹果。算法的关键一步是：表面上偏离自利的行为，就是规范存在的证据。某个智能体没有吃掉对它有好处的苹果，另一个则一再走到河边去清理它。纯粹的眼前自私，比起“他们在遵循一条我没看到的规则”，是更糟糕的解释。贝叶斯更新会朝这些规则偏移。Labenz 认为这一点值得多停留一下。这些规则是明确且离散的：苹果稀缺时就不要吃；河水脏到一定阈值以上时就去清理。整个世界是由 0 和 1 组成的网格。问题在于，这种做法能在多大程度上推广到野外的 Claude 电脑操作智能体。

Xuan 说，离散化不是主要瓶颈，人类本来就会把世界离散化来做规划。当前实现的真正局限，在于它需要一个显式的形式化世界模型，才能检验符号规则。中间状态看起来仍然可行：比如一辆自动驾驶汽车，在旧金山、越南和印度学习当地的驾驶惯例，前提是它对驾驶以及其他司机有足够好的模型。完全开放式的自然语言就更难，因为没有一个能形式化判定规则是否被违反的解释器。一种变通方法，是用语言模型充当分类器，把“是”和“否”的对数概率当作概率估计，再用重要性采样来近似同样的贝叶斯推断。提示一个大语言模型智能体提出规则假设，再根据这些规则解释数据的好坏来重新加权，然后迭代。Xuan 本人并不想做大语言模型的研究，但这套方法已经存在。DeepMind 和合作 AI 基金会举办的 Concordia 竞赛，即在模拟社会中运行的语言模型智能体，是一个很自然的试验场。Labenz 还提到，斯坦福的生成式智能体小镇，以及一个开源的 TypeScript 分支，都可以直接拿来用。

智能体的真正目标，是一个依赖信念的奖励：在追求自利的同时，要承担违反规则的代价，而代价的权重取决于你认为该规则在多大程度上生效。当信念只有 10% 时，代价几乎不起作用；到了 90%，你就会认真对待它。阈值化是一种启发式近似，采样则是另一种办法，在你不确定、需要探索时很有用。探索会产生一种引人注目的涌现效应。即便一开始并不存在任何惯例，那些试验性地遵守某条假设规则的智能体，也会被别人模仿。雪球就这样滚成了共享的规范。Xuan 认为，人们平时形成地方惯例，往往就是这样发生的。衰减是它的对偶问题。目前的框架并不真正会遗忘。更具贝叶斯色彩的修正，是只推断社会在最近 K 步中实际实践了什么，而不是推断全部历史。一场足球比赛之后，场地上到处都是垃圾，于是新来的人推断，在这里乱扔垃圾是可以的；而一条干净的街道，则会让推断反过来。这个例子取自美国文化，不是新加坡的。

这种机制能保证收敛到好的结果吗？当然没有。坏的均衡有很多。想要与他人保持一致的倾向，有助于达到那些如果大家都背叛就无法达到的好均衡，但它也会稳定住压迫性的规范，包括那些过去还算合理、随着环境变化而变坏的规范。Xuan 引用了 Christina Bicchieri 的《The Grammar of Society》（社会的语法），讨论多元无知：每个人私下都不喜欢某条规范，却以为其他人仍然认可它，于是这条规范就维持了下去。这一框架只做了最低限度的事：跟随别人遵守的东西去遵守。要跳出一个坏的均衡，就需要契约主义的机制：先弄清楚人们真正想要什么，再推理哪些原则能让集体变得更好。这触及了“银河脑”式的价值对齐问题，即学习每个人的偏好，但在原则上而非计划上进行优化，难度要低一些。哈贝马斯式的审议和虚拟协商，是候选的工具。

Labenz 提到 AE Studio 的自我与他人重叠研究：压缩智能体对自己和对他人的表征之间的差异，那个原本会欺骗的网格世界智能体就不再欺骗了。Xuan 喜欢认知科学中的一个想法：对自己和对他人使用同一套心智机制。Xuan 更像是一个认知科学家，而不是神经科学家，并且对“人工神经网络的隐层表征到底在做什么”这类说法持怀疑态度。Xuan 自己的风格，是把关于其他智能体的理论，设定为关于近似理性、目标导向行为的贝叶斯模型。如果拿这个去向政府提交安全论证，经验性的“我们把损失压低了，欺骗就减少了”是不够的。Xuan 想要的是一条数学定理，证明你所关心的行为一定会随之出现。因此，Xuan 对可保证安全的 AI 更有好感，不过也承认它与对比表征学习有某种家族相似性。

从大局看，Xuan 是一个乐观派。他既不是那种什么都想上的纵深防御派，认为某一招就能让其他手段变得多余；也不是灭绝风险的极端派。Xuan 认为时间线会是渐进而分散的，图景是一批专门化服务，而不是一个单一的神。在那样的世界里，可保证安全的方法与市场需求是吻合的：对安全要求高的应用会为可靠性保证付费，尤其是在智能体开始大规模参与之后；高保障的产品，可以在与今天不会有太大差别的条件下胜出。关键在于，要有差别地加速本质上更安全的那类技术，省去一个不必要的、混乱的事故阶段。Xuan 提到，AI 蠕虫已经造成经济损失，缺乏协调的智能体会引发闪崩，而最尖锐的担忧是：没有任何保证的 AI 被接入军事指挥链条，机器彼此响应的速度超过任何人类，并最终升级为热战。军方在行动中已经大量使用 AI。

如果没有任何单一系统能赋予决定性的战略优势，大国冲突看起来就会不同。分散式的发展应当能把经济收益摊开，甚至可能根本不需要军备竞赛。如果被迫生活在竞赛的世界里，Xuan 会借鉴核和平的经验：让应当负责的一方保持健康的领先，同时让收益广泛分享，使得第二名也不想打一场仗。如果 Altman 在 2025 年提出的“把所有基准测试都刷满”的预测成真，Xuan 不会变成暂停派，而是会加倍投入于让更安全、更便宜、更可靠的第二类系统加速发展。他们真正关注的先行指标，是经济应用中 99% 的推理可靠性。o1 价格昂贵，解决了一些思维链的问题，但它在机器人技术，或者正确完成长时间浏览器工作流（达到 99% 的正确率）方面，并不明显能保证可靠性，何况推理成本还是指数级增长。最后，他们推销了论文里没有被讨论的那一半：把实践理性从被压扁的效用理论图景中救回来，并附有总结表格。他们还感谢合著者 Michael Carroll、Sierra Franklin 和 Hal Ashton，说这两年的工作很辛苦。