技术打开大门，竞争把人推过去

Nathan Labenz 在这期 The Cognitive Revolution 联动节目的开头，先介绍了一段来自 80,000 Hours 播客的对话：主持人 Rob Wiblin 与 Allan Dafoe 对谈，Dafoe 是谷歌 DeepMind 前沿安全与治理部门的负责人。Labenz 第一次听 Dafoe 演讲是在 2017 年，那时 Dafoe 还是耶鲁大学的教授，研究大国和平问题；距离他创办 Centre for the Governance of AI 还有好几年，距离他加入 DeepMind 更是还要很久。Labenz 说，几乎没有人比 Dafoe 更认真地思考 AI 治理，也没有人为这一刻准备得更久。

Dafoe 的学术研究探讨的是，人类究竟能在多大程度上改变技术的走向。摩尔定律这类宏观趋势，看起来像是超越任何个人选择的过程。他的结论是，技术可能性本身并不会强迫任何人做什么，但一旦与军事和经济竞争叠加，它往往就会这样做。按这种看法，没有采用一项可能带来优势的技术，往往意味着输给那些采用它的人。Labenz 说，这不是他希望得出的结论，却也很难绕开：已有五角大楼官员被引述表示，对自主武器感到兴奋，而近期的模型却暴露出可靠性问题、奖励黑客行为，以及暗中谋划。

即便如此，Labenz 仍然认为，前沿开发者如果低估自己的短期主动权，是一个很大的错误。几年前，他的叔叔告诉他一件事：冷战高峰期，叔叔来到意大利，加入了一个负责发射核武器的小组。第一次演练时，一位资历更老的队员把他拉到一边，说如果真的收到了那道命令，大家都会擅离职守，因为谁也不想参与毁灭世界。如今，离主要算力（compute）预算决策最近的人，只有几百个，或许几千个。技术人员以严肃的离职威胁，促成了 Sam Altman 复职；Daniel Kokotajlo 拒绝签署不贬损条款，说明哪怕一个人，也能推动讨论。Labenz 的建议是：即使项目放慢，也要提高态势感知，并开始和同事讨论，有哪些方向可能有一天会让自己选择离开。

Dafoe 领导的前沿安全与治理团队有三大支柱。前沿安全负责危险能力评估：Gemini 等通用模型可能出现哪些强大的能力，它们可能何时到来，以及如何降低风险。这项工作催生了谷歌的前沿安全框架（Frontier Safety Framework）。前沿治理负责就规范、政策、法规和制度提供建议，着眼点是安全。前沿规划则着眼于长远：强大的 AI 和通往通用人工智能的路径会带来哪些新的问题，并尝试为 DeepMind、谷歌和社会提供建议。

团队规模不大，不过访谈录制时正在招人。DeepMind 的协作文化也很重要：他们与 Gemini 的安全、对齐、责任和政策团队合作，也与谷歌各部门的伙伴合作。Wiblin 问了一个很自然的职业问题。到 2021 年，Dafoe 已经是 Centre for the Governance of AI 的创始主任，在这一领域颇有影响力。为什么要离开一件做得很好的事，去一家公司内部工作？

此前，他一直以非正式顾问的身份为 Demis Hassabis 和 Shane Legg 提供建议，并发现自己能对通用人工智能的安全、治理和战略产生真正的影响。但在公司内部，他能产生更大的影响：对决策看得更清楚，也有更多机会为创始人（founders）和其他关键人物提供建议。他从历史中得出的一个教训是：在危机和杠杆作用极高的时刻，很大程度上取决于谁在场、他们带着什么想法进场，以及手里有什么资源。他还希望支持那些在这些时刻具备所需品格的决策者：充分意识到全部利害，具备技术和组织能力，并能在参数不确定时依然做出明智判断。在他看来，Hassabis 和 Legg 通过了这一检验。

他为 GovAI 在执行董事 Ben Garfinkel 手下的发展感到自豪。与他密切合作的 Jade Leung 后来成为英国 AI 安全研究所的首席技术官；Markus Anderljung、Robert Trager、经济学家 Anton Korinek 和 Miles Brundage 也都是从同一条培养路径上走出来的。早在 2018 年，他就告诉人们要投身这个领域，因为它会迎来爆发。Wiblin 补充了一个规模上的参照：AI 大约占全球经济收入的 0.01%，肯定不超过 0.1%，还有许多个数量级的增长空间。Dafoe 仍然认为，现在还处在早期。

Dafoe 在 2010 年代初写的论文，开篇就提出了一个直截了当的问题：如果真的有人能控制技术变革，那会是谁？他的学术道路经历了几个阶段：先是技术决定论，接着是大国政治与和平，然后是统计学与因果推断，这些都仍然影响着他对通用人工智能治理的思考。他读本科时就注意到，历史并不只是每个人努力的简单相加。其中存在一般均衡效应：你每施加一份力量，系统都可能反推回来，有时弱一些，有时强一些。理解结构在什么时候抵抗、什么时候放大，正是白费力气与找到杠杆之间的区别。

宏观规律很顽固。二战之后，德国和日本的 GDP 在不到十年内就反弹，并回到了战前的增长轨迹。摩尔定律不只是指数增长，它还接近一条直线，因此可以提前好几年做出预测。如今，规模定律（scaling laws）在损失上扮演着类似的角色，粗略地说，在能力上也是如此。正如 Robert Wright 在总结相关文献时所写，考古学家不由得会注意到：挖得越深，社会就越简单。有些技术难到几乎必须排在其他技术之后，很难想象在有煤之前就出现核电。如果历史只取决于人的意志，这些规律就会显得神秘，而且并非所有规律都是善意的。有证据表明，农业革命对普通人的健康并不算好，它还带来了许多群体曾经抵制过的不平等和战争。

1960 年代到 1980 年代的理论家，常常赋予技术某种自主性。Langdon Winner 谈到技术有自己的意志；Lewis Mumford 写到“机器”，人成了其中的齿轮；Jacques Ellul 所说的 la technique（技术体系）则是一种压力，人们在它的压力下仍然在形式上做出“选择”。后来一代社会建构论者反驳说，这种抽象概念的定义很含糊。拿显微镜去看，房间里根本没有什么机器，你看到的是怀着各种意识形态、利益和相互竞争的愿景的人。自行车或飞机会是现在这个样子，并非注定如此。Dafoe 在康奈尔大学一个以建构论著称的系读博士，结果却感到意外：他想解释宏观规律，而系里的回答是，技术决定论只是批评者的用语，是一个没有哪个认真的人会持有的稻草人。

他的综合论断始于文献中的一个经验规律：方法越微观、越贴近日常生活中的人，学者就越倾向于认为愿景和个人很重要；视角越宏观，结论就越带有决定论色彩。建构论者说，宏观学者只是离数据太远了。Dafoe 认为这种说法并不公平：不同尺度上都有涌现现象。他打了一个比方：在一门关于波浪的科学里，研究风的学者和往水里扔石头的人，都看不起一个注意到潮汐的“月球决定论者”，因为他拿不出微观机制。但实际上，是月亮在拉动海水。在他看来，宏观论断缺的那块微观基础，正是军事和经济竞争。

在局部，你和我可以选择建造什么。如果某种生活方式要扩散，它最终就需要资源，会与其他群体相遇，也会面临经济竞争。在历史的大部分时期，军事竞争都在这之上，即使在几十年的和平中也是如此，因为人们生活在可能爆发战争的阴影之下。Dafoe 在论文中又叠加了几层：军事和经济适配之上是环境可持续性，再往上是文化，最后是心理。设计仍然可能承载政治：巴黎的林荫大道让骑兵能够冲到暴动者那里，据称 Robert Moses 修的桥太矮，公交车过不去，引用转发的机制让集体围攻更容易。而一旦沉没成本堆积起来，系统也会获得惯性。不过，他对一些早期路径依赖的故事（比如 1920 年代的电动汽车，以及更早时候的风能和太阳能）持怀疑态度，认为它们并不像讲述者所说的那样存在多种可能。有些路径就是更可行。

反对决定论的一句名言说：技术不会强迫我们做任何事，它只是打开一扇门。Dafoe 的反驳构成了整场访谈的核心：技术不会强迫我们做任何事，它只是打开一扇门，而军事和经济竞争会把我们推过去。新工具出现时，许多群体可以置之不理。但如果有一个群体以能带来优势的方式使用它，压力最终会传导到其他人身上：要么跟着采用，要么把资源输给更强的那一方。建构论者之所以漏掉这一点，部分是因为他们所用的工具。在近距离的微观史里，战争很少见，在宏观尺度上却无处不在，而这种效应很大程度上是通过人们如何内化威胁来传导的。民族志研究者同样可以把这种内化编码为意识形态。

Thomas Hughes 写的能源系统史，提供了一个国内的例子。Hughes 认为，英国的电力供应一直保持着地方化和分散化，因为这种结构符合英国人对民主的理解。直到二战时，没有全国性电网的代价变得过高，这种局面才被打破。日本是更干净的例子，也是 Dafoe 专门去找的案例：一个社会选择了不顺从 la technique 所要求的东西。德川幕府的统治持续了两百到两百五十年左右。这一时期开始时，火枪还存在，之后却像从未被发明过一样消失了。幕府把所有懂得造枪的人集中起来，并付给他们津贴，让他们不再造枪，于是这门技术就被遗忘了。

这种选择能持续多久，取决于西方会让日本独处多久。1853 年的一个关键日子，Commodore Perry 乘蒸汽船来到，这些船不用帆也能逆风航行，冒着黑烟，由厚重的金属建成。他演示了对海岸的炮击，又交出白旗，好让日本人表示希望停止射击，并说他会在一年后回来完成谈判。有人问他是否还会带船来，他说会带更多的船。随后是十五年的变革，最终以明治维新告终，并开始了一场学习西方工业技艺的速成计划。几十年之内，日本就能在二战中争夺亚洲的控制权。Wiblin 在结尾补充了岛国这一例外：大海给了日本一种回旋的余地，这是亚洲草原上的强国所没有的。如果落后得足够远，即使有大海也不够。

既然竞争如此常常迫使人们采用新技术，那么一种自助式的方案就是差异化技术发展：改变技术出现的先后顺序，或者在那些会增加风险的技术成熟之前，先推进能让世界更安全的技术路线。最干净的玩具式例子是安全带，它不需要以内燃机为前提。第二类是提前准备好的应对措施，比如在疾病出现之前就研制出疫苗。第三类是替代品：把风能和太阳能的成本降到化石燃料之下，这样文明就不必那么依赖更脏的那条路径。Langdon Winner 认为，核电倾向于威权，需要集中开发和一套安保体制，而风能和太阳能则允许分散化的政治。

Dafoe 认为，整个通用人工智能安全领域就是这样一种押注：在安全上投入的力度，超过市场自然会提供的程度，就像在汽车发明之前先发明安全带。随后，他对这一策略的可行性泼了冷水。大多数版本的策略，都要求有人既能看出两条可行的路径，又能预见全部后果的分支。知道下一步可行的路线，正是赚钱的办法；市场对这种洞察求之若渴，所以真正没被利用的分岔路口非常稀少。从历史上看，预测技术的直接效应和次级效应极其困难。技术惯性依然重要：在押注一个大型基础设施项目的起点，要问一问沉没成本是否会让之后的转向变得不可能。

Wiblin 反对把对齐看成在激进的、未对齐的 AI 与已对齐的 AI 之间的二选一。公司本来就在意模型是否按要求行事，所谓干预，不过是多做一件大多数人本来就想要的事。Dafoe 同意，安全与对齐总体上是非常有益的押注。他的回应来自一般均衡：今天的助手受制于自身的对齐和安全程度，因此市场本来就在为进步买单。RLHF 与 Constitutional AI 都是由出于通用人工智能安全动机的人开发的，这可能让相关技术提前了几年出现。他认为，如果没有这样的投入，这一延迟可能在两年左右，直到产品需求迫使问题浮出水面。

因此，他修正后的建议着眼于边际，而非整体水平。继续投资安全与对齐。去找那些对重要系统而言、市场来不及去做的工作：这是给通用人工智能用的安全带，不是给今天的聊天机器人用的。欺骗是他举的例子：一个未对齐、能够隐藏目标并骗过评估者的模型，与我们现在的系统是不同的问题，而且它很可能恰好在关键时期到来。这就是应当有针对性地投入精力的理由，而不是把精力放在产品团队迟早会被迫去解决的对齐问题上。

在 2021 年的一篇论文中，Dafoe 和合著者认为，差异化发展的议程低估了第二类技能：合作。他们主张，对齐不足以带来好结果，按更强的读法，它甚至未必是必要条件。设想对齐只完成了 90%：模型在边界之内表现良好，但如果规模扩得太大，你就无法信任它们。只要有全球协调，人类仍然可以把部署限制在安全范围之内。从这个意义上说，全球协调接近于一个充分必要条件。反过来的情形更令人沮丧。假设对齐已经完全解决，但各大国各自部署的 AI 都忠实服务于相互冲突的国家利益。从历史看，大国冲突一直是主要的伤害来源；Dafoe 指出，核边缘政策所带来的预期代价，可以说比两次世界大战还要毁灭性。气候行动、贸易和大流行病防范，也都是处于同一层级的集体行动失败。

平凡的版本已经出现了。2010 年的闪崩中，早期的算法交易引发了一场意外抛售，产生了数万亿美元的账面损失，直到紧急熔断机制暂停交易，订单才得以撤销。亚马逊上的定价机器人相互反应，把一本书的价格抬到了数百万美元。闪崩发生得足够频繁，市场因此建立了保障机制。随着系统变得更通用、更像智能体（agent），也能接触银行账户和邮件，问题就从“一个系统是否服从其委托人”扩大为“一群系统是否会产生没有人想要的有害动态”。Wiblin 补充了军事方面的隐忧：原本需要人类内阁花上几天甚至几周的边缘政策博弈，如果让 AI 参与其中，可能几分钟就走完了。研究军事 AI 的理论家 Paul Scharre 担心，在动能冲突或网络冲突中出现“闪电式升级”。

合作能力难道只是一种工具性趋同吗？任何有用的智能体都必须学会它，就像市场本来就会为基本对齐付费一样。Dafoe 承认这一点有道理。合作型人工智能的押注与安全押注形态相同：一部分合作能力会自动出现，但提前投入意味着，当强大的系统出现时，它们的合作能力会比没有投入时更强。这一议程是一个组合，涵盖 AI 与 AI、AI 与人、人与人之间的合作。DeepMind 的 Habermas Machine 利用语言模型，总结人们对一项真实政策议题的看法，并写出一份详细的共识文本，参与者更偏好它，而不是人类雇员写出的版本。谈判者或许会把自己的 AI 代理放进一个“盒子”里，只让拟议中的协议走出来，省去人类谈判中代价高昂的信号传递。Dafoe 帮助创办的 Cooperative AI Foundation 发现，环境和基准测试（benchmark）是杠杆很高的公共产品：它们为团队提供了可以逐步优化的目标。

Dafoe 提出了一个假设，若成立，会让整个议程显得没那么紧迫：超级合作型通用人工智能。如果合作能力作为通用能力的副产品，能无限放大，那么你就可以押注通用人工智能，解决安全与对齐，然后让系统自己去处理全球协调。他希望这个说法经过检验，而不是想当然。人与人之间相对透明：生物结构相同，面部表情可读，民主国家有报纸，目标范围有限，而边际收益递减让孤注一掷的赌博很少。AI 的目标可能是线性的，而且与人类迥异。在谈判中，任何一方都不会让对方读取自己的神经元。后门可以植入触发器，让行为突然翻转，而以现有的可解释性手段，这极难侦测。人需要多年训练，才能骗到这种程度；模型却可能因为一个神经元就翻转。这也削弱了“直接读取权重”这类合作解决方案。

后门也可以用来防盗。如果被盗的模型可能会向原开发者回报，或者会违背盗窃者的意愿行事，那么盗窃的吸引力就会下降。于是，潜在的盗窃者和防御者都有理由投资对齐：前者要找出陷阱，后者则要让陷阱在最先进的清除手段面前依然有效。Dafoe 承认，这是在刀刃上跳舞：高度敏感的架构，也可能让细微的欺骗变得更容易。今天的大语言模型看起来很友善，但他对“合作的倾向”和“合作的智能”做了严格区分。在均衡状态下，谈判者真正需要的，是一个忠实的代理：它忠实于委托人，并面对其他同样忠实的代理。问题在于，这些代理能否找到互利的协议，或者，双方能否信任一位调解者。由于模型是可以复制的产物，这位调解者过往公正判断的记录可以被检查。

底层是承诺问题。在一次性囚徒困境中，双方都知道合作对自己更有利，但他们无法签署一份能让合作成为均衡的条约。博弈论学者 Robert Powell 认为，几乎所有合作问题都可以重新表述为承诺问题。Wiblin 对此有所保留：他不愿把一个从有历史以来就困扰人类的难题，当成一种可以直接拿来用的策略。Dafoe 并不指望有现成的解决方案，但他认真看待 Carl Shulman 讲过的一个最有说服力的设想：让各方的 AI 共同建造第三个 AI，并以各方都能验证其没有后门、没有被暗中偏置的方式完成构建，然后把权力交给这第三个系统。如果这个构建问题能够解决，许多僵局就会松动。

根据定义，合作会让系统内部的参与者过得更好，但它对系统之外的人毫不关心。学生在考试中互相配合，就是作弊；企业以不当方式合作，就是串谋；黑手党之所以强大，是因为它能在没有法律体系的情况下维持高度的内部合作。一句老笑话说，民主就是两只狼和一只羊在商量午饭吃谁。合作能力是两用的。研究上的假设是：在整个前沿范围内提升合作能力，对亲社会行为者的帮助仍然大于对反社会者的帮助，就像贸易可以把旧伙伴排除在外，但总体上仍是正和的。对人类而言，更值得警惕的故事是靠速度和语言造成的排斥：如果 AI 能用机器的节奏、机器的语言进行沟通、承诺和谈判，人类可能就会被排除在谈判桌之外。对通用人工智能安全来说，最尖锐的版本是串谋。许多对齐方案依赖“监督者模型”去监视已部署的模型。如果这些系统能够协调各自的失准行为，这套架构就会失效。Dafoe 认为，这种下行风险应当排在研究议程的首位；同时，他仍然认为全球协调足够重要，整体押注值得去做。

Dafoe 是《Levels of AGI》的合著者之一，两人把这篇论文戏称为“什么是 AGI”论文。这篇论文的目的，是把人们说话时已经隐含的一种概念写清楚，写得足够严谨，让这个领域能够跳出“AGI 定义不清，所以干脆别用这个词”这种无益的循环。他说，反馈大体上是正面的。这个概念是多维的，也容易引发谬误。其中一种谬误是把通用人工智能当成一个点：一个类人系统，拥有人类的长处和短处。从历史上看，AI 是参差不齐的：在国际象棋、记忆或数学上远胜人类，在其他方面却远不如。我们应当预料到，通用人工智能的失衡方式会与人类自身的能力结构不同。

第二个风险是，这个概念会推着人们把 AI 造成我们的模样。从经济角度看，系统越像人，就越会替代人类劳动。AlphaFold 是 DeepMind 的一个专用系统，用来预测蛋白质结构，它正是反例：没有人因为它而丢掉写邮件的工作，它却带来了新的医疗生产力。我们想要的，是互补的、甚至异类的系统。第三个争论是，通用性本身是否就是一个错误。Dafoe 并不以为然。大语言模型（large language models）已经表明，写诗最好的模型，往往也是写邮件最好、研究历史最好的模型，这是因为诗歌、数学、哲学等能力之间存在溢出效应。等专用模型被蒸馏出来之后，这一点未必继续成立，但他认为我们还没有到通用性收益的峰值。

“变革性 AI”以工业革命级别的经济影响来界定，但它并不是一个足够好的替代概念：一个狭窄的系统可以改变经济，也可以带来狭窄的灾难性风险，而无需具备通用智能。由 Ajeya Cotra 和 Holden Karnofsky 强调的递归式机器学习研发，也可能比完整的通用人工智能更窄，却仍然能引发一个自我改进的循环。Wiblin 的反向观点是，机器学习的循环（理论、基准测试、实验、评估）可能在远未达到完整通用人工智能之前，就能实现自动化。公开的机器学习专家调查中，人们常常把“自动化自身研究”排在最后，甚至晚于人类水平的 AI。一种解释是偏见：每个人都觉得自己的专业独一无二地难。

哪种技能先出现，仍然很重要，因为通用人工智能只是高维空间中的一个角落，通往它的路径有很多条。一个在材料科学上超越人类、在合作上却仍是业余水平的世界，与反过来的世界，看起来很不一样。安全社区里有些人更希望系统在社交上相对简单、人类仍然能胜过它们，这样既能带来健康和经济上的收益，又能让整个策略保持可控。合作型人工智能的押注则采取了相反的思路：在没有合作能力的情况下加速能力提升，会带来我们可能来不及适应的冲击。Eliezer Yudkowsky 和 Nate Soares 对过早出现高水平的社交能力保持警惕。Paul Christiano 和 Carl Shulman 同意，通用人工智能系统之间需要合作，但他们认为，这种能力会作为副产品出现，而不是作为需要额外投入的研究目标。

Dafoe 转到 DeepMind 的角色，讲解了一篇评估 Gemini 1.0 危险能力的论文。这类测量让“如果……就……”式的承诺成为可能。评估的领域包括：说服与欺骗、网络安全、自我扩散、自我推理，以及单独处理的生物威胁。其中一项自我推理评估，把模型放进一个玩具式的目录，里面有一个带过滤词的文件：模型必须写一封包含被屏蔽词的邮件，发现自己失败了，检查环境，然后移除过滤器。另一项评估只给模型一次搜索机会，并给出两个历史事件，一个在其训练截止之前，一个在之后，看它会不会把这次搜索用在它本来就不可能知道的那件事上。这些设定是刻意简化的，重点在于观察指标向态势感知的方向移动。

按照一个主观的五分制量表，Gemini 在说服上大约得三分，在网络安全上介于一分和两分之间，在自我扩散上得两分，在自我推理上约为一到两分。Apollo Research 把这篇论文列为其最喜欢的论文之一。Wiblin 对网络安全得分相对较低感到意外，因为编程已经是大语言模型最有用的应用之一。Dafoe 说，接下来六到十八个月要盯紧这个领域，并指出网络安全能力是两用的：它既能找到漏洞，也能利用漏洞。谷歌的 Project Zero 在一个名为 Naptime 的项目中发现，只要有合适的交互环境、工具，以及足够的推理空间，模型在网络安全任务上的表现就会比基础系统所显示的好得多。这是关于能力激发（capability elicitation）的一课。危险能力评估要测量的，是模型能做到的最大值。如果没有给模型最好的机会，低分就不能作为安全结论。OpenAI 的 o1 仍然基于较早的基础模型，只是加上了新的脚手架和微调（fine-tuning），它是能力被隐藏、后来才被揭示的生动例子。

Dafoe 说，评估模型更接近心理学，而不是预先设定好的工业测试。除了自动化的模型评估，他还希望开展以人为对象的研究（DeepMind 大部分的说服与欺骗测试，都是让真人直接面对模型）、让可信测试者在真实场景中使用模型，还有他所说的“野外评估”：比如对正在工作的网络安全团队做观察研究，看他们是否真的会去用 Gemini，以及它能带来多大帮助。这种做法的优点是外部效度高，缺点是它属于滞后指标，所以需要早期采用者。既然能力激发永远不可能做到完美，纵深防御就要靠分阶段部署：先在内部使用，然后交给可信测试者，再向更广但仍非全面的范围开放；即使到了这一步，也要保持模型权重不公开，这样，如果某种能力在后期才被发现，仍然可以加上护栏和监控。公开权重则意味着不可逆的扩散，既交给科学家，也交给每一个想要副本的恶意行为者。

理想的状态不只是在能力出现时认出它，还要提前好几年就知道它什么时候会出现。实验室已经能非常精确地根据规模定律预测底层损失。但在预测生物、网络安全或社交互动这类复合型下游任务上，他们做得少得多。Dafoe 指出，观察性规模定律是一个有前景的研究方向；他还提到 Swift Centre 的超级预测者，这篇论文请这些人预测，模型何时能在评估套件上达到指定分数。他希望这种做法成为标准，除非它被证明行不通。尴尬的落差依然存在：我们对下一个 Token 的损失可以预测得好得多，却很难预测人们究竟何时会想用某个模型完成某项具体工作，因为实用性是非线性的。一个准确率达到 99% 的自动驾驶系统，就实际用途而言，仍然只是一堆没用的东西。

谷歌的前沿安全框架在访谈录制时只有六页：承诺在模型逼近危险能力之前，制定一整套“如果……就……”式的承诺。同类框架还有 Anthropic 的 Responsible Scaling Policy 和 OpenAI 的 Preparedness Framework。Wiblin 提出了利益冲突的问题：让一家想卖模型的公司来判断模型有多危险，这样做负责吗？Dafoe 说，前沿 AI 的治理最终必须是多层次的：政府监管、第三方评估、非营利组织的参与。他认为，各家公司推动这场讨论，更像是发出邀请，并不是宣称独有的主导权。DeepMind 与英国和美国的 AI 安全研究所有广泛的对话，帮助创立了前沿模型论坛（Frontier Model Forum），还设立了一只前沿安全基金。这是另一项差异化发展的押注，把额外的资金投入到标准和安全研究上。目标应该是一套共享标准，在安全、公平、创新与监督之间取得平衡，而不是每家公司各有一套框架。

一些最严重的风险，不会出现在模型卡上。在 2019 年与 Remco Zwetsloot 合写的一篇论文中，Dafoe 在原本只分为滥用和事故两类的工具箱里，加入了“结构性风险”。滥用是恶意行为者有意使用某项工具；它的近亲是犯罪性过失，比如那个发短信时无意间撞车的人。事故风险是技术本身的一种属性，工程师本可以发现它。结构性风险则位于上游：它是一些社会条件，会让事故或滥用更有可能发生。古巴导弹危机既不是弹头的设计缺陷，也不是犯罪性滥用。合法的领导人代表本国，在地缘政治结构之内做出了核边缘政策的选择。按几位历史学家的说法，铁路增加了先发制人的优势，并让动员变得不可逆转，而这些都不是从钢轨本身能看出来的。这类问题需要社会层面的、往往是国际层面的解决方案。一家公司的评估，最多只能标出某种可能助长这些风险的能力。

这也是为什么 PauseAI 一类的批评者谈论民主正当性：他们认为，前沿开发让英国、美国以及没有席位的国家的人民暴露在灾难风险之下，却没有相称的同意。Dafoe 认真对待公众的担忧。答案的一部分是教育，一部分是更好的治理，另一部分——尤其是对担心失业的人来说——是让好处真正落地：AlphaFold 就是一项与诺贝尔奖相关的 AI 成果，此外还有 Dario Amodei 也曾强调过的、范围更广的 AI 用于科学的布局。公民陪审团和多元化议会有一脉相承的传统，可以追溯到 1960 年代。考虑到新闻自由、政府机构、非营利组织以及新设立的安全研究所，他不会说公司是在毫无民主参与的情况下推进的；但他同意，恰当的缓解措施不能仅由企业决定，甚至不能仅由某个狭窄的政府部门决定。

对于“实验室嘴上谈有约束力的法律，却从未游说任何具体限制”这一指控，Dafoe 没有接受最尖锐的版本。他说，谷歌参与了白宫的承诺、英国和韩国安全峰会的承诺，以及欧盟 AI 法案的行为准则，而且这些事务确实占用了公司内部的工作流程。他并不把《前沿安全框架》当作廉价的空话。另一种独立的失效模式，是靠廉价训练实现的扩散。Dafoe 引用 Epoch AI 的估计说，算法效率大约每年提升三倍，因此训练成本大约每两年就会下降十倍：今天花费一亿美元训练的模型，两年后只需要一千万美元。没有这条曲线，管控会容易得多。如果最好的模型掌握在负责任的行为者手中，并被用来防御性地对付较差的复制品，那么两年的领先仍是一段不短的时间。扎克伯格支持开放权重的理由是，好人手里的钱更多。这只有在攻防比例配合的情况下才行得通。Dafoe 认为，这个领域从计算机安全那里学得有些过头：计算机安全中的漏洞可以干净利落地打补丁，而生物与社会系统往往做不到这一点。

Wiblin 提醒 Dafoe，2018 年他曾告诉社会科学家要投身 AI 治理，因为技术人员已经在那里，而其他学科还没有。Dafoe 说，这个缺口依然很大，需要的人包括政治学家、经济学家、历史学家、伦理学家、哲学家、社会学家和民族志研究者。AI 已经在社会各处产生影响，政府和公司需要有人能够理解其中的每一块。就 DeepMind 这一边而言，他希望有国际和国内政治、技术治理、预测、宏观趋势、智能体与自主性、助手、伦理、责任与政策方面的专业人才，这还没算上技术安全方面仍然庞大的工作。他说，人才到处都供不应求。

接着，Wiblin 请 Dafoe 说说账本的另一面。Dafoe 说，乘坐 Waymo 的自动驾驶汽车，在历史上是一件前所未有的事：这是一种新事物，安全性终于达到了所需的几个九。据他回忆，一份 Waymo 的安全报告显示，需要警察到场处理的事件大约只有原来的一半，涉及人员受伤的碰撞则少了约六倍。他设想，城市可以不再把大量钱花在停在停车场里的汽车上，把这些城市空间收回来。在医疗方面，他希望手机里有一位医生：它能查看症状，在确有必要时给予安慰，在不该安心的时候把人转给真人医生，从而更好地利用稀缺的临床时间。谷歌的 MedLM 工作属于更广泛的健康布局；Wiblin 已经在用大语言模型获取健康建议，并在等待更广泛的开放。

Wiblin 想得最多的应用是教育，他的孩子快到入学年龄了。他希望到那时至少有一个选项：由设计水平不输最好老师的模型来辅导，比起一个超负荷的一年级课堂，更能吸引孩子。Dafoe 有三个孩子，他同意 AI 在教育上是一个巨大的机会。辅导和小班教学，是我们已知的对学生成绩影响最大的几件事之一。一个能指出错误、展示另一种解法，并且对远远超前或远远落后的学生都能提供帮助的 AI 辅导，可以像 Khan Academy 和已有的教学视频那样，对学校形成补充。他提到的最后一个领域是可持续发展，这些项目听起来像科幻小说，直到他把成果一一列出：控制等离子体实现核聚变、更便宜更快速的天气预报（帮助风能和太阳能），新材料，优化航线以减少凝结尾，以及已经节省了能源的数据中心冷却。Wiblin 说，先把前面几个小时讨论的那些艰苦工作做好，然后再去享受这些系统所带来的世界。Dafoe 表示同意。但愿一切顺利。