他们希望 AI 安全也能像土木工程师评估桥梁那样，给出失效概率

Labenz 开场便提到这篇论文，称之为一次从工程意义上让 AI 安全真正奏效的认真尝试：《Towards Guaranteed Safe AI》是一篇多机构参与的立场论文，作者包括 Yoshua Bengio、Stuart Russell、Max Tegmark 和 Steve Omohundro。他的两位嘉宾正是参与编写它的人，FAR AI 的 Ben Goldhaber 和 Nora Ammann。该机构的工作是孵化有高影响力的安全议程。Goldhaber 说，这一议程是在 2023 年 11 月的布莱切利园 AI 安全峰会上成形的：当时 Davidad（即 David Dalrymple）与 Tegmark、Bengio 等人坐在一起，意识到各自独立的项目几乎殊途同归，走向了同一个框架。

FAR AI 把这种重叠推到了台面上：举办研讨会、统一词汇，并发表了一篇立场论文，描述的是一类方法，而不是单一的实现。不同作者分别带来形式化验证、硬件或机器学习方面的先验，对如何搭建各个部件也有分歧。他们的共同点，是对更高标准的要求。Ammann 说，纯粹的经验方法也许无法让我们一路走到底。共同的底线是希望获得量化的安全保证：给出明确假设和容差的风险陈述，这种做法在其他安全关键领域早已是常规操作。

她引用了论文中也提到的土木工程对比。1870 年代，大约 20% 到 25% 的桥梁在十年内倒塌。时至今日，土木工程师可以说，只要荷载不超过三吨，这座特定桥梁在未来十年倒塌的概率低于百万分之一。核电站也生活在这样的文化之中。她认为，AI 正在进入安全关键的领域，或者它自身正在变成安全关键的东西，因此也应该要求它给出同样类型的表述。Labenz 喜欢这种从“解决了还是没解决”转向的思路。真正有意思的，是我们愿意接受的风险水平，以及附加在任何保证之上的限定条件。

Goldhaber 希望从只做评测，转向为安全提出一个肯定性的论证。他对当前的评测热潮感到欣慰。但他仍希望，在电力基础设施的部署中，能有这样一种表述：给定这一系统、这些规格和这一环境，离开允许范围的概率是百万分之一。这需要理论基础加上实证测试，既要覆盖已知的失效，也要覆盖保证无法延伸到的地方。收窄范围本身也是这套主张的一部分。论文想让社会能在某个特定领域判断系统有多安全，不去谈那种关于整体安全的感觉。他还指出，这一想法也与一些常被视为对立的议程相呼应，包括 Yann LeCun 的世界模型工作：在这个领域里，我们能否做出肯定性的论证？

Labenz 停下来，感叹现状有多奇怪。大量资源被投入去构建一个没人摸清其能力边界的系统，直到之后，人们才开始去摸索它能做什么、可能会怎样失效。大型语言模型和多模态模型尤其如此。他认为，大家都希望改进这种“先造出来，再去发现”的做法。Ammann 认为评测无法单独弥补这一缺口，理由有两点。第一，对齐方面的担忧：一个系统可能隐藏失效模式，包括后门，因此测试分布并不等于部署分布。第二，一个足够强大的系统，仅仅是存在，就会把世界推入事先没有预料到的状态。你无法穷尽测试。黑箱检查只能告诉你，你跑过的那些例子没有出错，却无法告诉你最终会走到哪里。

Labenz 对自己的备课相当坦诚。他没有通读这篇论文，而是把 PDF 加载进 ChatGPT，然后在散步时和 GPT-4o 聊。他带着一些微妙的误解走进来，模型没有反驳，而是顺着它们往下讲。直到这期节目录到大约 30 分钟时，Ammann 和 Goldhaber 才把他纠正过来，在那之前，他在几个重要环节上一直糊涂着。他为此感到尴尬，也毫不掩饰，因为他花了很多时间劝别人采用 AI 工作流。新研究的数量之大，让人别无选择，只能使用这些工具。他希望大家记住的教训是：让模型来反驳你，而不是附和你；关键论断要对照原文核实。

在这一框架里，世界模型在概念上与 AI 本身是分开的。它是你编写规格时所针对的对象，也是你进行验证时所依据的对象。它的作用，是对可能的世界轨迹给出一种显式的表示，包括反事实：如果系统采取动作 A，会发生什么；如果采取 B，又会发生什么。它必须承载贝叶斯不确定性，因为数据永远不够；也必须承载模型不确定性，因为对一个复杂领域建模，在某些地方一定会出错。我们并不要求模型完全精确。真正的要求是把不确定性处理得足够好，使你能够保持保守，并且在称某件事为安全时，你说的是真心话。人类可审计性是圣杯。一个无模型强化学习（RL）系统里其实也有某种世界模型，但没人知道它是什么，因此也没人知道它在分布之外会有怎样的行为。

Ammann 的类比来自旧有的 AI 盒子之争。只允许回答、不允许行动的神谕式系统，并没有真正遏制风险：光是说话，就足以让人去做事。GSAI 保留了“盒子”的直觉，却移动了围墙。你不去限制 AI 的效应器，改用世界模型、规格和验证器搭起一道闸门。只有当验证器确认所提议的动作有害的概率低于某个阈值时，系统才被允许影响世界。论文对提案者持中立立场。今天的生成式 Transformer 就可以用。还有第四种、较为低调的 AI 用途：作为工具，加快世界模型的构建和规格的编写，增强人类的数学建模能力，而不是取代那道闸门。

Labenz 比他希望的更晚才意识到，整套体系是叠加式的。这套方案的重点是如何约束你已经构建出来的任何东西。实践中会有两个世界模型：一个是隐含在黑箱里的，另一个是显式地放在外面的。规格用外部模型的语义来书写，既陈述功能要求，也陈述绝对不能发生的事。验证器接收一个提议的动作或策略，把它放进世界模型中运行，检查它是否与规格冲突。核心之外是部署基础设施。经过验证的输出上线之后，你还要持续把观测与预测进行比较。如果两者出现偏离，就切换到你更信任的、更保守的备份。假设如今已经明确到可以被批评的程度。黑箱系统也有假设，只是很难把它们说清楚。

Labenz 勾勒了一辆汽车的例子。一个黑箱网络接收八路摄像头、GPS、地图和目的地，输出油门、刹车和转向。在它外面包裹一个牛顿式的世界模型，里面有显式的物体、类型和动量。规格包括最大加速度的变化，以及不得撞上东西。他的一位朋友在研究火车乘坐舒适度：弯道上的加速度必须保持在能让乘客坐稳的范围内。验证器接收黑箱发出的下一条指令，模拟未来几个时间步，然后要么放行，要么强制减速、靠边停车，或者交由人接管。Goldhaber 认为这个草图是对的，包括舒适度那个例子。规格会混合硬约束（不得撞人，在某些条件下不得越过双黄线）与关于安全和舒适的偏好式边界。它们通常是复合的。

世界模型也可以叠加使用：在负担得起的地方用牛顿物理，在负担不起的地方用更简单的轨迹抽象。Goldhaber 说，这类做法的某些版本已经在领先的自动驾驶公司中运行。这是个好兆头：GSAI 是从现有的安全工程中长出来的，并非空中楼阁。它也说明了其中的难处。你大概有 95% 的时候并不希望越过双黄线，但当有人站在车道上时，你又非常希望它越线。写出既足够严格、能真正起作用，又足够灵活、能应对杂乱世界的规格，是这一框架最难的工作之一。企业已经设定了其中一部分参数；对于更大型的应用，社会可以规定，一个系统在上路或接入电网之前，需要达到怎样的置信水平。

电车难题应该放在哪里？不在世界模型里，因为它只做预测；也不太在验证器里，因为它只做检查。Goldhaber 把这个选择放进了规格。这一框架对于什么是道德上正确的答案保持中立。它是一个治理接口：比如某个群体决定，在那种情境下要使救下的生命最大化，验证器就会报告 AI 的计划是否真的这么做，并给出量化的预测。Ammann 关心的，与其说是把道德哲学做得更好，不如说是一个能被审议式政治抓住的社会—技术接口。对黑箱说一句“请友善一点”，并不能告诉你，在模型自己的语言里，“友善”到底意味着什么。明确的规格依然很难写。但至少有了可以争论的东西：规则本身，以及验证器的那句“很有把握”，要到什么风险阈值才能变成一个部署决定。她说，这与某个研究团队凭感觉认为“已经够安全了”，是两回事。

不同领域里，今天的世界模型好坏差别极大。驾驶有牛顿式的物体。Labenz 指出，医学可能先从专家系统式的鉴别诊断开始，之后，如果 AI for Science 取得成果，还能纳入 2024 年的“AI 医生”看不见的细胞通路。你不必等到生物学全部弄清楚。Ammann 举的生物安全例子，是在任何东西被合成之前先做病原体筛查。化学和生理学已经被部分认识。推动科学前进，同时使用那些对不确定性做出过度近似的模型。如果太保守，毒性模型就只会说什么都不要合成，那就毫无用处。工作的关键，是持续推进这条前沿，让更多好事能落在一个可接受的风险上限之内。被问到如果只凭九年级的生物课记忆来构建一个生物学世界模型，Goldhaber 几乎给不出什么保证。即便纳入整个专家知识语料库，仍然会有漏洞。关键在于让权衡显式化，不要让它们隐含着无人审视。

Labenz 担心相关性失效：如果外部世界模型和黑箱内隐含的模型都是从同一套人类语料中蒸馏出来的，它们会不会犯同样的错误，包括对抗性的漏洞？Goldhaber 认为会有相关性。关键在于表示方式。外部模型是形式化的、可组合的、可审计的，因此人们可以分块检查它，从而获得比同等可解释程度的 Transformer 策略更强的保证。Ammann 给出了论文中的三个严谨层级。第一层：从数据中学习很多东西，但要求它与我们最好的科学理论相容。第二层：一个可组合的数学模型，领域专家可以逐块审计。第三层，适用于足够简单的情境：对物理学的可靠抽象，也就是 Tegmark 和 Omohundro 所强调的“可证明安全”层级，包括防篡改的硬件。你可以混合搭配，在能做到的地方尽可能严谨。

AlphaGo 的第 37 手，并没有像 Labenz 一开始描述的那样让她感到害怕。围棋的世界模型就是棋盘的规则，创造性的下法可以出现在其中。真正的难点在边界。即便是核电站或电网，也要和外部世界发生相互作用；你没有建模的部分，都必须用不确定性来填充。而且，这并非一个能用于可验证安全的自然语言聊天机器人的框架。起点是特定领域。Goldhaber 把这种策略称为“油渍扩散”（oil spot）：从世界模型易于处理的地方开始，比如物理基础设施，以及能关闭针对人类和智能体的、类似漏洞的攻击向量的软件验证；然后再向外扩散。世界模型和规格可以组合。加固表面，覆盖更多失控智能体可能造成伤害的地方，并押注于：未来更好的 AI 工具会让更模糊的区域也变得可以处理。Labenz 指出，这与 Eric Drexler 的“通过狭窄来实现安全”的思路是近亲：把世界切割成建模良好的片段，然后让通用 AI 为每一块生成狭窄的、可量化的计划。

Labenz 一直在尝试说服 Claude 3，用它自己的其他价值观，去提供名义上有害的帮助。这是一个真实的案例，并没有用什么奇怪编码的越狱手法：为了阻止迫在眉睫的暴行，写一段针对军用通信服务器的拒绝服务脚本。从功利主义的角度看，这似乎说得通。他并没有成功。Claude 直白地说，他说得对，它无法完全为拒绝找到充分理由；他给了它很多要想的东西；但它仍然不舒服，也不会违背自己的训练。Labenz 指出，Amanda Askell 最近接受 Anthropic 的访谈中提到，塑造 Claude 就像培养一个好朋友，那是一个纹理很丰富的目标，他们通过不断追问“在这种情况下，怎样才能成为一个更好的朋友”去逼近它。Goldhaber 很高兴，美德伦理成为了当前对齐策略的一部分。

Ammann 区分了不同的使用场景。对于人们每天花好几个小时相处的自然语言系统，品格确实很有价值。但对于核电站控制回路中的 AI，或者用于水坝监管的 AI，“好朋友”是错误的类型签名。你仍然不知道它在分布之外的行为，仍然没有量化的保证，也仍然没有失效保护。Labenz 的解读是，把任何人，无论多么有德行，直接放进这些决策里，却没有制度框架，对这个人也不公平。Goldhaber 补充了多元性。他宁愿要 Claude，也不愿要电话簿上随便一个名字。他更希望有一个能把众多观点纳入规格的过程，因为这才是能得到文明认可的答案的途径。Ammann 说，她更担心的是目标误泛化（goal misgeneralization）这一类风险，而友善并不能在理论上给她提供针对它的、有坚实基础的信心。

Labenz 预计大约在 2027 年会出现所谓的 AGI。它可能更多是由 OpenAI 与算力提供方之间的谈判动态宣布的，而不是由能力门槛决定的，而且几乎肯定足够通用，能胜任大量工作。你能及时把 GSAI 包裹到它身上吗？Goldhaber 希望现在就开展玩具实验，包括把 Claude 放进盒子里，观察它如何针对世界模型和规格生成计划。他还怀疑，最强大的系统未必会像今天的聊天机器人，而那种“好朋友”式的训练，也未必能迁移到竞争压力不同的领域。Ammann 的近期答案，是在途中摘取低垂的果实：缩小社会的攻击面，让非常强大但尚未超人类的系统发生的事故、误用路径和失控缺口都更少。她说，在一个以年而非十年计的时间尺度上，把经过验证的无漏洞软件重新实现出来，在集中的研发力量下是可以做到的；而在代码领域，规格几乎是顺理成章地导出来的。

作者把这种更广泛的立场称为随时可用的组合策略（anytime portfolio）。他们并不要求每个人只做这件事。在不同的时间区间里，把你手上最好的安全能力都备好：如果灾难明天就来，就把你所有的评测都拿来对付它；如果灾难在三到五年后，就尝试更有雄心的方法，别只靠测试。纵深防御的意思是：把 GSAI 作为底层，在其上叠加评测、可解释性和异常检测。Ammann 认为，一家公司如果要为电网或核电站提供运营服务，就必须说明它为什么达到了某个阈值，这是再常识不过的事。她希望 AI 也遵循同样的预期，而不是只拿几项测试，然后对部署分布耸耸肩。

Max Tegmark 的主张，按她听到的版本，点出了政治上的一步棋。目前的叙事是一场竞赛：实验室很快就要部署了，所以要在那之前尽你所能。把它翻转过来：如果你能论证自己达到了标准，就可以开发并部署。责任在开发者身上。这并不要求暂停。它让“展示你的工作”成为默认做法，就像其他关键基础设施现在的做法一样。Labenz 用“国王与民主”做类比，讨论的是方差：即便历史上最好的国王今年打败了美国民主，国王也会发疯、会变老。Goldhaber 宁可不接受这种按原样给出的独裁者假设。更深层的问题在于信息流动。单一主导 AI（singleton）无法吸收一个复杂世界，也无法反映每个人的偏好；民主和市场则是信息汇总的机器。过度近似的规格会让一部分优化空间白白浪费。如果替代方案是中途死去，那么这笔交易他们会接受，而 AI 工具以后可以帮助收窄这种过度近似。

显而易见的批评，Goldhaber 也接受：即便只是一个领域，也是一项巨大的工程。他的乐观在于，一个更怪异的世界对大规模动员会有更多胃口，而前超级智能时代的工具会让这项工作更可行。硬件安全是一个近期的试验场，不需要全面的政治动员。Ammann 的成本论证是根本性的。一旦某个场景的世界模型和规格建立起来，就可以反复使用、进行版本管理，并不断改进。相比之下，评测每换一个新模型，都要重跑、重新调参。前期的账单很大，但可以摊销。这正是它与测试路线在经济上的根本区别。

被问到如果想帮忙，应该发明什么时，Ammann 指向 Davidad 的数学元语义项目：一种能够表达多种不确定性的可组合语言，加上领域专家真正能够填充的接口，再加上对这些模型进行版本管理的计算机科学。Bengio 的“谨慎科学家 AI”（cautious scientist AI）则尝试借助机器学习，让基于可信世界模型分布的贝叶斯推断变得可以处理。Goldhaber 提到了与 Christian Szegedy、Omohundro 和 Tegmark 相关的、Lean 时代的数学形式化工作；更简单地说，他还提到一些实验：在玩具案例上试跑整个架构，看它在哪里崩溃。Labenz 提到了 Tegmark 团队的 KAN，它仍然是端到端训练的，但更易组合、更可解释。关于可解释性，Ammann 仍然会在完整的 GSAI 体系之上叠加评测和异常检测。如果世界模型只有一部分是形式化的、一部分是学习来的，可解释性可以帮忙赎回一些信心。Goldhaber 提到 FAR Labs 的 Jason Gross，他一直在走相反的方向：先对策略做出简洁的陈述，然后给出形式化证明，界定它会做什么。如果有朝一日，把隐式世界模型显化出来，比构建一个外部世界模型还要容易，那么这条路线也许会胜出。

大规模协调有先例。Ammann 举的是国际空间站：彼此不太和睦的国家，共享安全和互操作性方面的知识，而这些知识同样具有军事价值。Labenz 举的是台湾的线上审议，以及位于 pol.is 的 Polis 平台。Audrey Tang 曾称它是“反脸书”，因为它放大的是共识而非分歧。OpenAI 的 Democratic Inputs to AI 项目甚至资助了对这一软件的生成式 AI 升级。Ammann 的保留意见是：民主并不是对一份固定偏好清单的汇总。与邻居交谈，就可能改变一张选票。技术应该放大这一过程，而不是把人的部分抽象掉。Goldhaber 希望从更小的规模开始，比如硬件，然后随着胃口增长而扩大。

他越来越担心的风险，不仅仅是一个严重错位的单一主导 AI，还包括竞争动态：系统未必是卡通式的邪恶，但在相互竞争中，它们会逐渐偏离人们集体希望得到的东西。在这个意义上，GSAI 是一种低信任的多方利益相关者工具。每个人都能看到数字是怎么算出来的。这可以把囚徒困境转化为围绕更好的世界模型和规格展开的合作。Ammann 描绘了两幅图景：在一幅中，某家实验室宣布已经造出了 AGI，并解决了安全问题，所以请信任它，然后站到一边去，而听众心里只会冒出三个问号。在另一幅中，世界模型、规格以及数学上简单的验证器都是可以审计的，于是利益分歧的低信任各方仍然可以说“同意”。Labenz 问，这是否也是一种监管上的交易：碰撞标准和安全气囊规则，让车企可以保留商业秘密，在“框”内创新，并清楚自己的责任归属。Ammann 说，你必须分享的，是与安全论证和互操作性相关的信息，包括跨境的互操作；就像二十世纪的电信标准支撑了贸易，一辆通过检查的汽车，就能开上意大利的高速公路。她补充说，从一线来看，企业已经陷入两难：外界都在喊“用 AI”，而当前的模型对这类工作还不够稳健，于是你要么对每一步都做人工复核，直到提速的收益消失，要么客户拒绝买单。能够给出量化保证的 AI，是一种有需求的产品。