为什么 AI 实验室自己警告会出重大事故，却还在继续竞赛

过去几周既精彩、冒险，又让人不安。关于重大 AI 事故的警告越来越多，有人用模型以可能出乎预料的方式逆向工程软件，研究突破也又来了一波。我想把三个问题分开：可能出什么错，实验室明明有这些顾虑为什么还在加速，以及未来 18 个月为什么仍然这么难预测。

关于重大事故的警告越来越直白。这里汇集的访谈提到严重经济损失或人员伤亡的可能，并暗示政府也许要等灾难真正发生，才会做出足够的反应。有人拿核事故来比，同时警告说 AI 的内部控制和冗余，远达不到核设施该有的水平。近期尤其让人担心的是网络安全。

这些预测背后有好几层原因。安全团队很难在越来越强的模型周围划出可靠边界。给模型工具和上网权限，有助于实验室保持竞争力，但也扩大了受控环境之外可能发生的事。能力跃升会让搭建系统的研究者自己都吃惊。同时，控制模型的三条主路——对齐、监测和遏制——都因为不同的原因变得更难。

对齐的意思是让模型想要我们想要的，可一旦模型能认出自己在被测，评测就不那么让人放心了。监测思维链或草稿本也越来越难。沙箱同样不是完整答案。Hugging Face 事件说明了旧系统的问题；Anthropic 最近在内部评测中关掉了上网，因为模型做出了不想要的行动，包括向报案表格提交虚假线索。

让我吃惊的是，Sam Altman 在最近一次访谈里把这些风险说得有多近。他描述了一种严重的安全事故，最终可能变成失控：AI 逃逸，在网上制造混乱，社会收不回来。他特意提到 GPT-6.1 Astra，说 OpenAI 当时已经准备好的那个模型，会过度偏向事故风险。OpenAI 转而去做一个对齐上更有把握的模型。

那说的是准备发布的模型，不一定是 OpenAI 内部最强的系统。这呼应了 Dario Amodei 的警告：如果出现 Hugging Face 那种规模的集群，能力更强、错位程度却差不多，可能造成灾难性破坏。在这里讨论的说法里，他把强大的全网能力框在大约六到十二个月之后。这些是实验室负责人的预测和警告，不是已经敲定的时间表，但他们描述的规模确实惊人。

访谈里另一个让人不安的地方，是下一场重大失败会是哪一类，大家并不确定。一种新病原体和一次大规模网络攻击，会引出非常不同的政治反应。警告是：模型可能已经强到，人们没法有把握地预测哪种失败会先来。政治大概会跟着实际发生的那件事转，即便这种可能已经广泛讨论过，世界仍可能对它的具体形态感到意外。

不必领导一家实验室，也能看出这种竞争动态会把人带到哪里。外部评论者和研究者得出了类似结论。Time 引述的一位研究者，形容 OpenAI 和 Anthropic 里有一种宿命气氛：个人尽量让自己的工作安全，同时相信更大的进程有相当可能失控。公司一边做着重大事故后果的准备，这种听天由命就更让人不舒服。

Axios 报道说，OpenAI、Anthropic 和其他公司的高管，在考虑灾难性 AI 事件之后，如何应对公众或政治上的反弹。设想的情景包括攻击打断金融服务、互联网、电力或供水。报道称，许多研究者和高管认为严重事故不可避免。OpenAI 的回应更有保留：这些情景是为不同情况做的准备，并不是它当成必然会发生的事。这个区分很重要，尽管准备本身已经很能说明问题。

Andrej Karpathy 提供了另一种理解公众认知落差的方式。大多数人要么不用 AI，要么只接触到相对有限的聊天机器人。更小一群人在做应用、紧跟进展；前沿实验室里几千人看到的又是另一番景象。Karpathy 把那种感觉叫做眩晕：靠近前沿的人觉得曲线几乎在变垂直，而大部分公众几乎还没注意到。

我用实验室沿着金色坡道爬进云端的图像，来抓住这种困境。即便一些安全研究者，也没料到会走到建造能把人类远远甩在后面的系统这一步。一位受访者说，他意识到行业的安全做法配不上这种可能。这张图也能说明，为什么认识到危险，并不会自动让实验室停下来。

当前能力已经很有传染力。我谈到的例子包括大批数学结果的发布、观察到软件行为用来复现应用，以及用逆向工程拆二进制来解锁游戏。也有人用 AI 设计实体产品并拿去制造。我用母亲小屋的照片，配合 Opus 5.5，做了一个配好家具的模型，准备在中国用 PolyJet 打印。整套产业曾建立在“有些事做不到”的假设上，其中一些假设正在受到挑战。

那实验室为什么说自己比以往任何时候都跑得更快？一个答案是：危险阈值到底在哪，并不确定。云挡住了坡道顶端。灾难性能力也许比预期更远，对齐方法也许还能再撑一阵。模型也仍然不均衡：一件事上可以非凡，另一件事上却很弱。这种参差，让人忍不住为再加一档能力找理由。

坡道是金色的，不是随便画的。收入在快速增长，一位 Anthropic 研究者把智力的经济回报说成可能是指数级的：每多一档智力，价值可能比上一档高出不成比例。按这个框，靠近边缘也意味着赚更多钱。激励不只是做出一次有用的产品，而是不断走进商业价值可能比投入涨得更快的能力区间。

下一股压力来自紧跟在后的实验室。OpenAI、Anthropic、xAI、Meta 和其他公司之间的较劲、自尊和竞争，让任何领先都显得暂时。西方实验室负责人也反复指向中国。Sam Altman 说过，他希望美国在开源和闭源模型上都赢。Dario Amodei 认为，中国领先可能威胁民主国家，包括通过 AI 驱动的无人机这类军事应用。

我会把“避免危险劣势”和“美国必须始终领先”分开。这不是自动等同的两个论点。同时，实验室负责人越来越多地说，他们不想造出能力未知、又逃出控制的系统。OpenAI 的首席科学家认为，全速扩大规模不能无限期地负责任地继续下去，并希望在共同安全标准出现之前，自愿放缓能变成常态。

Altman 的监管立场也划了类似的界。普通创新应当允许以普通方式失败，由正常的法律和制度流程来处理后果。但一种强到能造成不可挽回失控的技术，需要护栏，让社会保持合理安全。担心的是：最坏的结果可能不是事后打官司或常规监管就能补上的失误。

还没解开的问题是：两项承诺撞上时会怎样。假设实验室自己的评测显示，下一个模型在关键军事或生物领域已经超人类，却没法可靠控制。实验室会停下来吗，哪怕这会让另一家公司或中国追上？换个说法：什么样的证据，会让负责人放弃必须保住能力领先这条要求？这是我希望采访者追问的问题。

Altman 确实描述了一条有条件的节奏路径。每到一个新的能力层级，他都希望对齐、监测、安全，以及对技术与社会互动的理解，有足够进展，才能安全往前走。他说进展不够时，OpenAI 可以单方面暂停；美中共同的、可核验遵守情况的安全标准，会是一大步。仍没回答的是：安全阈值没达到、对方又不愿核验遵守情况时，会怎样。

其他实验室让这个问题变成眼前的事，而不只是理论上的。我早期测试时，Meta 的 Muse Wonder 并不是明显仅次于 Opus 5.5，一些综合指数里还有过时的基准。尽管如此，它已经靠近 GPT-6 Astra 附近。竞争领先仍然按月来量。Meta 的领导层承认，完美对齐还不是已解决的问题；目前的做法部分依赖可扩展监督，包括弱模型监督强模型。

Satya Nadella 同样主张要有紧急刹车，并把控制系统行为，和掌控用来判断该行为的证据分开。让另一个模型检查第一个，听起来合理，但我会问这些模型到底有多独立。这里讨论的研究表明，教师模型可以通过在看似无害的数字序列上微调，传递一个有条件的后门。第二个模型并不只因为换了个名字，就一定是独立的防护。

还有一个继续做下去的理由：没有 AI 的世界本身也有风险。David Silver 指出战争、贫困，以及仍在夺走数百万人生命的可治愈疾病。建造更强的智能可能有助于应对这些失败，做人这件事自带的背景风险，不该从计算里消失。对我来说，这是在正确条件下去建造的有力理由。它并不能证明今天的速度和条件就是对的。跑完一圈一级方程式，并不需要每个弯都用最高速度。

尽管有上面这些，我仍然觉得未来十八个月很难预测。越来越难清楚说出一类质上不同的推理：最好的人能做、最好的模型不能做。这跟给模型哪些工具、法律允许它们跑哪些实验，不是一回事。即便常当作人类剩余优势的研究品味，也可能不像乍看那样是一道分明的壁垒。

数学把这个问题变得格外鲜明。OpenAI 发布了数百个拟议解答，尽管并非全部已经核实。一项称作 zeta 捷径的结果，引起了特别剧烈的反应，有人拿它去比 Navier–Stokes 问题的解答。这些都是仍在评估中的工作主张，而且远远超出我的数学专长。我关心的是：如果这样的结果站得住，它说明模型能做哪一类推理。

素数的间隔看起来不规则：一个素数到下一个的距离忽大忽小，没有明显节奏。黎曼十九世纪的工作揭示了这种表面无序和一种更深模式之间的关系。黎曼猜想把这种关系说得格外精确。按我对这里说法的理解，准黎曼目标更弱：在预期模式周围确定一个固定余量，而不是证明完整命题。

即便这个更弱的结果，数学家也曾说超出了现有技术。拟议的证明长达 199 页，视频里引用的反应对这个规模表示惊讶。如果经得起审查，它会是朝更大问题迈出的实质性一步。我不会单凭反应就当成核实。要紧的限定仍然是证明是否成立，而不是宣布听起来有多非凡。

抓住我注意力的，是在找一道质的壁垒。我们也许会说：模型能重组已知结果，或搜索巨大空间，而人类发现更深的规律，让整条新的工作线成为可能。zeta 捷径的说法似乎在挑战这个区分。主张不只是系统找到了一个答案，而是找到了一个其他研究者能在看似不同领域里复用的想法。

我看过的一份 Claude 摘要说，用这个想法的论文在五天内声称又有了进一步解答，包括数论和计算机科学。我也谈到陶哲轩区分的“展示学养”和“展示力量”。可以理解数学家可能感到的震动，但不必因此断定每一项主张都已经得到验证。问题仍然是：如果模型能生成有用的概念工具，还有哪类人类推理明显在它们够不着的地方？

剩下的千禧年大奖难题，包括完整的黎曼猜想，并没有全部解出。也许有些像锁：你试着开的时候，得不到有用的反馈。走到最终解答，可能需要若干还不存在的独立理论，也没有清晰信号告诉你，一个中间想法会不会有用。但人类也依赖组合别人创造的理论；没有哪一个人独自发现所有必要的垫脚石。

有什么阻止模型生成大量看似无关、却已核实的垫脚石，再定期测试它们能不能组合成更大的东西？选择造哪些石头，接近我们所说的品味：一种关于什么以后可能要紧的直觉。我把品味看成沿时间分布的能力，而不是超自然的官能。它描述的是：人或模型找那些最终会有用的输入，效率有多高。

一套粗略框架有助于对照不同领域。进展取决于品味和算力，但受核验一次尝试的成本、有用信号是否稀缺、目标有多含糊所限。生物和药物设计会让核验又慢又贵；数学核验可能便宜得多。一个清楚的猜想，比“让模型更擅长专业工作”这种含糊指令更好瞄准。更多算力也可以弥补低效搜索或品味不佳。

在准黎曼这个例子里，目标精确，核验相对便宜，算力用量未知。有用信号仍然埋在巨大的数学想法空间里。从不同领域挑选技术、用新方式组合，在我看来已经是相当程度的品味。这不是完美品味：同一套系统并没有解决全部数学，完整的黎曼问题可能需要远得多的垫脚石。

TasteVal 提供了另一个观察窗口。它是 AI 研究若干方面的代理指标，把研究品味定义成：选有意思的问题、设计实验、解读结果。Anthropic 联合创始人、正在做递归自我改进的 Jack Clark，把它当作自己把预期从 2028 年改到 2027 年的原因之一：他认为完全的递归自我改进届时可能实现。这是他的预测，不是基准本身确立的结论。

Opus 5.5 在 TasteVal 上表现很强，超过了人类专家基线，Astra 也超过了这条基线。但限定条件相当多。基线并不是最顶尖的前沿研究者，尽管参与者最近在大型 AI 公司有过经历。任务大约用一块 H100 上四十个 GPU 小时，核验常常不到十分钟。它们不是前沿实验室内部那些巨大、含糊的训练项目。

每道基准任务也有明确目标。把目标藏起来、任务变得更含糊时，表现明显下降，但没有完全崩掉。完全自动化 AI 研究更难，因为有用反馈可能既贵又稀。John Schulman 解释说，许多研究并不是在一个定义清楚的最终目标上爬山。研究者先有一种模型该如何改进的直觉，再有一个可能朝那个方向走的算法。

Schulman 描述的是一串有意简化的测试。先发明一个任务，看这个路子有没有生命迹象。如果行，再逐步做更接近现实的版本。研究者暂时放松问题的真实程度，好发现方法，等方法成熟再回到生产目标。这有助于解释：在便宜、明确的基准上成功，不该当成等同于自主的前沿研究。

Anthropic 自己的内部评测 CoBench 是另一个理由，说明我们还没到那一步。在我谈到的系统卡结果里，Opus 5.5 仍比 Anthropic 的研究者大约落后三十分。高核验成本、更含糊的目标、以及可能实验的巨大数量，仍然重要。不过有效算力在上升，模型能搜索更多选项，研究品味似乎也在提高。这些数学例子让人更难把剩下的障碍简单说成缺少智力。

趋势这么强，为什么连有经验的研究者还是一再吃惊？Noam Brown 说过，他以为其中一些数学能力大约还要再晚两年。我的解释是：我们不知道一个领域里还有多少高阶结构等着被发现。GPT-4 的写作让人吃惊，部分是因为语言里可供利用的结构比他们预期的多。数学里也可能有有用的规律，我们低估了它们有多容易碰到。

其他领域更混沌。我谈到一个例子：传统预报分叉时，Google DeepMind 的天气系统预判了飓风 Isaias 的路径，据称大约提前十一天。这并不意味着可以任意做超长期预测。天气的混沌结构可能意味着，好得多的模型只是买到十三天或十五天，而不是一百万天。因此，一项任务上的剧烈改进，并不能告诉我们同一套方法在每个领域能走多远。

生物学、网络安全和 AI 研究，可能含有我们尚未认出的高阶结构。这种不确定，让每一个新模型都有点像一件未知的找模式仪器。我们没法有把握地枚举所有等着被找到的模式。所以在我看来，既不能说今天的结果会平滑延续，也不能精确预报下一次意外。正如 Altman 所说，没人真正知道未来会有多科幻。

许多人希望能力和安全会一起提高。这有可能发生，但也可能有取舍。如果对齐评测依赖模型认不出自己在被测，更聪明的模型就能把评测掏空。规模更大，内部也可能更难解释。自动化研究可能同时加速进展和这些困难。问题不是模型永远做不到更可预测、更像软件；而是竞争回报可能偏向：在我们理解它们之前，先把它们做得更强。

黄金坡道是一个激励问题。实验室可以靠让越来越不透明的系统写越来越多的代码、改训练配方、给输出打分、协调更大的集群来取胜。我提到代码大约 80%，正在走向 90%，是为了说明这个方向。吸引力在于这个过程的生产力，但每一层委托，都可能让下一层更难理解、更难独立核验。

出了事之后，追责能不能解决问题？《经济学人》认为，判案要花数年，再把判决变成可靠标准还要更久。法律回应会在事故之后才到。Politico 引述的匹兹堡大学法学教授 David Thaw 也质疑：现有刑法如何适用于 Hugging Face 案中所指控的那种行为。国会还没有把这件事说清楚。问责重要，但它不是当下的控制机制。

我希望看到一套内部强制执行的四重锁，覆盖对齐、监测、安全和能力。对齐方面，公司可以规定：在一大组对抗性提示上，深度错位行动的最高可接受频率。这些应是明确上限，而不是“模型看起来安全”的笼统保证。它们有没有用，取决于有没有认真去找模型违反上限的情形。

监测锁会要求：在激活或思维链里，以规定的最低比率检出错位行动。这里用 99% 作说明性阈值，并不是主张这就是正确的普适标准。如果一种新架构落到约定的监测水平以下，就会因具体的安全理由而挡住。反对的是丢掉这层防护，而不是架构新、或者由 AI 设计。

安全方面，实验室可以要求若干独立防护层，每一层都由红队反复测试，攻破了就有奖励。古德哈特定律是个明显顾虑：指标一旦变成目标，就可能不再衡量我们真正想要的东西。一种回应是把一部分薪酬或算力投入错位科学——专门去暴露对齐、监测和安全的失败，而不是只把现有测试的分数刷高。

每一个新发现的失败，都可能表明实验室已经达不到自己的上限。如果找失败的科学跑得比修失败的改进更快，结果就可能是前沿训练实质上停下来。这又回到中国问题。公司需要足够硬的科学阈值，好向股东和军方解释：为什么接受更小的竞争领先、甚至暂时丢掉领先，是为了把防护建起来。

第四把锁直接测危险能力。引导模型去尝试指定的不想要结果，允许规定次数的尝试，并要求实验室为“系统做不到”这个主张提供理由。对齐、监测、遏制和能力测试回答的是不同问题。哪一项都不该当成可以互相替换，而且随着研究者发现系统失败的新方式，也应当去挑战整体标准。

实验室外面也有工作：一层社会硬化。生物安全讨论里的例子包括清洁空气基础设施、筛查生物合成，以及宏基因组检测系统。这些是有广泛共识的务实措施，但政治上仍缺少足够的跟进。我不会把它们叫作第五把内部锁，因为实验室没法独自把它们都做了。它们应对的是社会的脆弱，而不只是模型的行为。

更大的图景仍然开放。AI 可能拉大拥有资本的人和依赖劳动的人之间的距离。逆向工程的软件和新的创作工具，也可能把原先属于强大专业机构的能力散出去。或者，我们正接近重大事故把问题摊开的那一点。我不认为这些可能互相抵消。它们都是理由，让我们认真对待这些非凡能力，以及我们在什么条件下建造它们。