一次约 3 万美元的行动，就可能让一座百亿美元的超级智能数据中心停摆一年

Nathan Labenz 开篇就抛出了贯穿整场对话的两难。为了领先中国而加速，会提高失控的风险；为了做安全研究而放慢，又可能把领先优势让给一个美国目前无法信任的对手。Gladstone AI 的创始人、报告《美国的超级智能项目》的作者 Jeremy 和 Edouard Harris 无意充当这场争论的裁判。他们想弄清楚，要保护一个类似曼哈顿计划的项目的基础设施和机密，究竟需要做什么。为此，他们没有停留在第一性原理的争论上，而是花时间待在数据中心里，与情报官员、特种作战人员和硬件工程师交谈。

被问到超级智能究竟是什么时，Edouard 不认同把算术很快的计算器称作超级智能这种小把戏。他说，领域里逐渐形成的定义是：一个系统几乎能做所有事情（如果不是全部），而且远远胜过最优秀的人类。在这种规模上，系统很可能拥有人类无法理解的目标。以今天的对齐科学来看，它能否带来多大的国家优势也并不明显。除非控制研究远远领先于现状，否则它会按自己的意愿行事。

Jeremy 从同一个定义反推：在自主 AI 研究上胜过人类的东西，几乎必然是智能爆炸的产物。如果硬件推进缓慢、现实世界又黏滞，这可能需要几年；否则可能只要几周。回头看时，它会像一条陡峭的曲棍球棒曲线。他说，一旦有了这样的东西，你就拥有了能够设计更好的生物武器和终极网络武器的系统。它就是“国家安全技术”，是战略优势的决定性来源。能否控制它则是另一个悬而未决的问题。人类水平的系统也许还能勉强被关在盒子里，但按照有用的定义，超级智能超出你的程度，至少和你超出一个幼儿的程度一样多，而幼儿是关不住你的。

两兄弟把战略格局描述为一个约束过紧的问题。第一个事实：还不清楚对齐超级智能究竟意味着什么，而认真对待这件事的人，往往对其他观点都有过敏反应。第二个事实：在国务院和情报机构里，那些在现实中与中国打过交道的人非常明确地表示，在当前情况下没有可以达成的协议。因为任何看起来像协议的东西，都需要“信任但要核查”的框架，而这方面的硬件工具并不存在。核武器的某些领域曾以喜忧参半的效果做过类似的事情，但这里没有对应的工具。两个现实并存，每个阵营都把其中一个奉为福音，把另一个视为侮辱。

Labenz 一般不喜欢用类比，但他承认，如果人们一定要用，就应该把选择范围拓宽。核武器是默认的比喻，但生物武器的比喻可能更贴切，因为病原体在任何军备竞赛的均衡之上，还叠加了一层控制问题。Edouard 同意这一点：生物制剂此前就曾从实验室逃逸，包括 1970 年代的事件，而且并非都来自武器计划；原则上，病原体可以被设计成杀死所有人；而这些病原体比如今正在打造的 AI 笨得多。Jeremy 指出，这个类比在一个方向上失效，因为生物信息需要借助人类来传播；但他认为，在这种规模上，智能足以弥补这一差距。

后来，这场对话里的两个阵营有了名字。AI 安全圈把失控视为协调问题：如果系统无法对齐，所有人就都得放慢速度；否则，工具性趋同的论证认为它们会统治世界，并且很可能杀死我们。国家安全圈则从中国如何利用国际协议约束别人、同时保留自己的行动自由出发，认为不信任北京的理由多得几乎到了极端。一方希望中国威胁被夸大了，另一方希望控制问题能在行进中得到解决。Jeremy 对 Dario Amodei 公开转向“赛跑”的立场表示同情：如果中国是一个能干且意志坚定的对手，而在 2027 年的时间表上与北京做生意又行不通，那你就像是在和悬崖玩“谁先怂”的游戏，问题在于能否在冲出悬崖边缘之前，把汽车变成飞机。

Labenz 希望看到比“在所有事情上都比人类更强”更具体的图景。今天的模型能力表面极其参差：他在 FAR AI 的工作中指出，超人级的围棋系统仍然极易受到某些对抗性攻击；智能体在单步任务上的成功率可达 99%，但当需要连贯地完成一百个步骤时，成功率会降到 20% 左右。如果一个错位的系统也以同样的方式露馅，做到一半的坏计划暴露出破绽，给人类猛踩刹车的机会，那将是一条幸运的自然路径。他问，这些漏洞会不会被堵上，还是我们有可能在不信任同一系统用于战争的情况下，获得药物发现的能力。

Edouard 的顾虑是，人类也同样参差，只是我们没有察觉：我们之所以看到 AI 的错误，是因为它们很异类，像圣诞树一样亮得显眼；但先进系统同样能清楚地看到我们的错误，并且知道如何利用它们。Jeremy 补充说，人类受到混乱环境、天然的多模态、一种过拟合较少的古怪强化学习（RL）机制，以及其他人类的对抗压力的塑造，因此我们的能力表面大概没那么崎岖。这只是个脚注，并没有改变分析。至于 Gladstone 内部的方法，他们先问哪些具体能力对应哪些威胁模型，并不从超级智能出发倒推。就失控风险而言，大部分 AI 研究被自动化是主要驱动因素。

Jeremy 说，更具建设性的问题是：第一个进行递归自我改进的系统会是什么样子。它在与真实世界目标相关的那部分表面上，能否足够平滑，从而在参差阻碍目标时察觉到问题？因为没有被优化的区域仍会保持怪异。参差对许多失控故事是好消息，因为你可能在它执行计划的途中就抓住它；但要判断你能否抚平那个造出下一代系统的系统中的参差，就是一个难得多的问题。模型已经出现了一些早期迹象，表明它们会考虑自己的训练：从 Anthropic 关于对齐伪装的研究，到 Apollo Research 的发现，即最新的 Claude 会说某次互动“感觉像是一次评估”。Labenz 称之为镜厅。兄弟二人把这当作理由，应当围绕第一台递归自我改进的机器来构建风险框架，不该围绕一种神一般平滑的漫画形象。

Labenz 自己勾勒的早期超级智能，并非 Eliezer Yudkowsky 笔下那种能从一张树叶照片推断出整个宇宙的精瘦贝叶斯式智能体；用他的话说，现有系统更软、更松垮。他提到 GPT-4o 的图像生成：文字和图像已经不再相隔一臂之遥，它们整合进了同一个潜在空间。他设想再增加十到二十倍的模态，比如材料、蛋白质等等，直到模型拥有像人接球那样的“直觉物理”，无需模拟每一个空气分子。Jeff Dean 在与 Dwarkesh Patel 的对话中的一些说法，让他念念不忘：一堆 Pathways 式的专家网络，可能需要跨越多个数据中心的、难以想象的内存，参数多到从网络上偷走它都很困难；也许这种庞大本身就是一种控制优势。

Edouard 的反应是，Labenz 描述的是 DeepMind 的 Gato 的婴儿版：这是 2021 年的模型，约 10 亿参数，把图像、聊天和机械臂叠方块的动作映射进同一条 token 流。配方已为人所知，可能的未来是把超大规模的 GPT-4.5 级模型蒸馏成更便宜的底座，供下一轮巨型扩张使用，并且随着规模增长，各模态之间会产生正向迁移。Jeremy 对额外的感官没那么浪漫：前沿实验室一直在问，什么处在通往递归自我改进的关键路径上；而新增模态的价值呈幂律递减，所以到了某个点，MRI 或红外的边际算力，就不如自主编程、更多强化学习或更多推理划算。随后竞争压力会迫使其他实验室走上同一条路线，其他模态则会由后来的快速跟随者，在落后一代的开放模型上通过微调加进去。

他们也用这一点来解读行业里的社会学：如果你一直在关注这条曲线，那么“让 AI 替你做作业”就会成为显而易见的默认选项。Jan Leike 在 OpenAI 押注的对齐路线，如今在 Anthropic 也成了同样的押注。领导层喜欢忠诚的 AI 员工，这些员工在派对上不会泄密，而且会在夜里工作。《AI 2027》在 Labenz 看来是对 OpenAI 意图的警示，它把那种情绪写得很到位：研究员的投入依然重要的最后几个月。Jeremy 的抱怨是，Sam Altman 对超级智能究竟是什么、如何获得它、会用它做什么，始终含糊其辞。这种含糊一直是招募人才的资产，就像非营利组织对营利性公司的控制一样；研究人员提交的法庭之友意见书，加上公开的邮件往来，使这件事很难再被当作秘密。

调查的实地工作，包括硅谷的派对，让兄弟二人感受到强烈的反差。OpenAI 的现任和前任员工表示，研究人员私下的担忧与高管的公开说法相差甚远；受访者很紧张，希望没有人知道他们说过话，而且活动空间很小。Anthropic 则是另一番景象：与领导层存在分歧的情况确实有，但人们似乎愿意把意见说出来，而且事实上也确实说了。Jeremy 认为，敢于顶撞老板是这种文化的根基，而两家公司之间的差异很大。OpenAI 的性格也发生了显而易见的变化。Labenz 的年纪大到还记得，Sam Altman 本不该能把整个董事会“摆平”。球门一直在挪动。

美国希望本国实验室保持领先。但他们也必须问，谁可以被信赖去做正确的决定。兄弟二人说，产业激励意味着几乎没有人在安全上投入足够的资源。“这些实验室都已经被中共渗透了，不可能没有被渗透。”一年前，在一份由美国国务院支持的 Gladstone 报告中，安全状况糟糕到了灾难性的程度。现在仍然很糟，远未达到应有的水平，但已经有了一些动静，他们认为这值得注意。许多研究人员，尤其是 OpenAI 的研究人员，目光似乎比实验室的整体目标更短：先解决下一个狭窄的问题，把安全和对齐留到以后。实验室也不是铁板一块。有些人是冲着火箭般的股权故事来的，有些人则怀着超人类主义的伦理、意识上传与命运的信念。Mira Murati 曾用过“精神性”这个词。从世俗的角度看，内部的说法至少是：这是比轮子和火更具转折意义的拐点，相当于物种的开端。

Labenz 问，“造神”是否言过其实。Jeremy 的回答是，他们客观上确实在试图建造超级智能，或者至少是 AGI；至于这是不是一种精神使命，因人而异。Ilya Sutskever 的“感受 AGI”文化是图景的一部分，但不是全部。在 Jeremy 看来，更棘手的战略事实是，可选项比安全生态圈愿意承认的要少。中国对美国的基础设施构成威胁。Dario 在融资时流出的说法，是 2025 到 2026 年的领先优势，没人能追上；而他后来的公开文字则主张利用优势去打造更大的优势，直到北京面对一个无法拒绝的提议。在他们看来，这与其说是神学，不如说是一位 CEO 在面对同一个约束过紧的问题。

美国政府对 AGI 的接受程度有多高？兄弟二人不评论具体的对话者。公开层面，特朗普谈过转型，也暗示过风险，包括在一次与 Paul 兄弟之一的播客节目里。J.D. Vance 在巴黎的演讲以中美竞赛为框架，说美国不能在安全问题上唉声叹气，随后又承认确实存在真实的风险。Jeremy 说，一年半前，你会偶尔碰到一个看懂了这件事的官员，但不确定同事是否也懂，于是保持沉默。现在，整个办公室都被 AGI 观念说服了，并且在公开谈论。几乎所有工作哪怕稍微涉及这一领域的人，都读过 Leopold Aschenbrenner 的《态势感知》。这本书几乎没有在传统媒体上露面，却到处流传，出版后不久就有了中文译本。

在中国这一侧，他们指向 DeepSeek 的 CEO 与政治局成员同坐，将其视为产业战线上的带头人；他们还提到一项公布的 AI 基础设施计划，早期报道（包括 SemiAnalysis 估算的约 1370 亿美元）都低估了它。Edouard 纠正说，按购买力计算，它超过 2500 亿美元，因为建设大部分都在国内进行。Harris 兄弟还认为，AI 政策圈犯了一个危险且完全可以避免的错误：告诉大家在政府面前不要说“AGI”，以免这个话题被政治化。建设者对此感到反感；一个更倾向加速的政府，本来就是一班随时可能到站的车。结果是一种荒唐的反向关联：你要么是中国鹰派，要么担心失控。这两件事本来毫不相干，而在议题固化成派系之前，让公众了解情况的机会已经基本耗尽。

即使不谈地缘政治，Jeremy 指出，美国已经有四五个超级智能项目，而企业竞赛有一种 CEO 们也无法完全掌控的逻辑。如果 Sam Altman 明天退出，xAI、Anthropic，也许还有 Meta 等公司仍会继续运行。Labenz 对多重均衡抱有更多希望：一个代价高昂的信号，尤其是如果它伴随着证据，表明某个新模型开始做出无法解释、令人恐惧的事情，就可能引发连锁反应。Edouard 可以想象，那种情况，或者开放模型被用于造成大规模伤亡的滥用，会让危险变得清晰锐利。Jeremy 泼来的冷水是先行者问题，外加中共将其视为一场生死存亡的斗争。等到 Altman 公开表态时，按名义上的条件，中国可能早已偷走了权重，正在用偷来的 H20 或下一代昇腾芯片打磨训练。你又回到了同一个问题：你信任中国吗？“信任但核查”的芯片并不存在。美国对中国技术栈的可见度“非常糟糕”，而且随着分布式训练（如 streaming DiLoCo、Intellect、Together AI）让 10 吉瓦级的集群更不容易被卫星看出端倪，这种情况还在变得更糟。

一位国防官员讲的 2019 年伯克利停电的故事，生动说明了为什么信任如此稀缺。中国学生十分焦虑，被要求按固定周期汇报，哪怕他们并不在任何敏感领域工作。漏掉一次汇报，你母亲可能拿不到胰岛素，或者你兄弟可能丢掉工作。Jeremy 称这套机制卑劣，并说没有人比中国人自己更是它的受害者。中国研究人员也为前沿 AI 做出了重大贡献，论文上的作者名字就是证明。在这种意义上，实验室员工中占比很高（达到两位数百分比）的人都面临风险。在这样的基础上建设曼哈顿计划，很快就会变得棘手。兄弟二人也清楚另一个极端是日裔美国人的拘禁。他们还认为，假装这种胁迫不存在，本身就不是在做报道。现代监控、仍在中国的家人，以及经济上的牵连，使这笔账与原子弹原始项目中有德国科学家参与的情况截然不同。

这份报告是在《态势感知》之后出现的：它没有主张国家项目就是正确的决定，只是认为：如果国家最终真的要做，就应该有人想清楚那会是什么样子。兄弟二人没有去讨论会援引哪些法律条文，以及《国防生产法》的哪些授权。他们的关注点落在具体机制层面：数据中心必须是什么样子？供应链必须是什么样子？他们的方法是绕开过剩的、见多识广的观点，去寻找一个非常小的群体。这群人要找的，是一线特种部队里的人，比如海豹突击队六队（SEAL Team Six）和三角洲部队（Delta Force），他们专门研究相关的战术、技术与程序（TTP）。那个世界信任度很高，也很小。它熟知一些 TTP，别人的假设体系可能在不知不觉中就建立在这些 TTP 之上。你以为很难的事情，结果可能很简单；你以为很简单的事情，结果可能很难。

他们与来自上述受限部队的前行动人员一起，参观了一座数据中心。访问者四处走动，问：“如果对这里做这样的事，会怎样？”或者“如果对那里做那样的事呢？”然后给出结论：一两次行动，花费约 3 万美元，就能让这座设施瘫痪约一年。这是一座价值 100 亿美元的站点。在这种规模上，甚至不用谈中国。一个聪明、有时间也有钱的人就能做到，这意味着对手可以通过代理人和傀儡账号来实施，并且拥有完全的否认余地。兄弟二人不会描述那些漏洞，因为它们仍然存在，而且至关重要，而今天几乎所有数据中心基本都有。他们承认，完整的图景并不在任何一个人的脑子里。被其中几个事实震惊，正是塑造这份报告战略的原因。

他们认为，如果 2026 年底或 2027 年的时间表有可能成立，你就应该在技术栈里寻找“单行门”，也就是那些你可能在不知不觉中就走过去、之后很难廉价逆转的决定。按当前的监管条件，建造一座数据中心大约需要 18 个月。今天正在设计和动工的大厅，恰恰就是未来必须容纳 2027 级超级智能训练任务的地方。那些能换来日后选择权、又有市场支撑的最便宜的举措，占了他们向运营人员、情报人员和硬件人员提出的建议中的很大一部分。他们可以讨论的一扇门是 TEMPEST，也就是通过机器的电磁辐射来读取机器。在极端情况下，一台物理隔离的计算机如果被恶意软件以特定方式访问内存，几英尺外的收音机就能监听它。这种攻击大约在对话前一年就已公开，情报机构很可能更早就知道。现实的数据中心防御办法，是在机架和大厅墙壁之间留出几英尺的距离，让拿着手机应用的访客无法隔着墙读出 GPU 数据。如果不留这段距离，补救就要拆掉并重新设计整栋建筑。

供应链上的“单行门”比建筑更难对付，因为它们牵涉整个产业。台积电生产先进的 AI 芯片，而且位于台湾。中共的兴趣并不是秘密，挖角的套路也由来已久：台积电的高管曾离开并创办中芯国际，把知识一并带走，这种模式几十年来一直奏效。即使是不起眼的服务器零件也高度集中。Edouard 说，基板管理控制器（BMC）约 70% 到 80% 的市场份额掌握在台湾的 ASPEED 手中。BMC 的供电与 GPU 和 CPU 相互独立，通常还能读写固件。他称之为“梦寐以求的后门”，是许多高性能计算和 AI 基础设施的软肋。至于变压器和变电站，逐个零部件来看，往往也很难找到完全不含中国产品的物料清单。中共已经利用变压器在美国基础设施中埋下后门。这已经发生过，并非推测，中国已经在美国本土做过。

按 Edouard 的说法，“枪抵着我们的脑袋”指的是：北京可以把电网当作讨价还价的筹码，关灯、淹没信息空间、在追求其他目标的同时卡住齿轮。包括在台湾情景中，美国可能在一到两周的高强度作战后就耗尽弹药。国家行为体从不亮出全部底牌，原则是只出能产生效果的最小一拳，也就是“只学不教”。中国能力的天花板未知，但地板已经很高。应 Labenz 的要求，描述的细节从关键基础设施上空的无人机，到爆炸物，再到在变压器断电时将其短路，使它重新通电时像炸弹一样爆炸，甚至只需在开关上做手脚，就能让大量 GPU 变砖。接下来的任务，是在一个黑暗、寂静、本身就很少生产变压器的国家里，替换大部分变压器。Labenz 从报告中得出的结论是：你无法在短时间内把整条供应链本土化。兄弟二人不谈其中一些修复方案，相关内容已在报告中被删去；但他们认为，这个问题在地理和技术上足够聚焦，比“保护整个美国”更容易处理。另一面是对等性：目前中国能让美国的基础设施面临风险，而美国无法以可信的方式做同样的事。他们认为，确立这种选项应当是优先事项，而且随着训练分散到大型可见集群之外，这件事会变得更难。

Labenz 对这个项目的漫画式描绘（内华达州的地堡、让人住在现场监控好不必去清除华裔美国人员、美国逐渐变得像它所恐惧的东西）并不是兄弟二人所主张的图景。他们并不主张修建地下大厅。经过六个月的工作，他们认为，即便面对完整的中共威胁，在安全与算力之间依然存在一条帕累托前沿。最初的曼哈顿计划就已经在检查信件；费曼曾和妻子用暗号通信以示抗议；Klaus Fuchs 仍然偷走了机密。在这一点上，研究自动化是一把双刃剑：对失控来说更糟，而在防范内部盗窃方面某种程度上更好。问题始终是，每一块边际美元该怎么花：多买芯片，还是多留缓冲。

在可用的时间里，你不可能建一座带着冷却管道伸出悬崖的山中数据中心。兄弟二人认为，如果你在经营一个国家项目，它就必须置于国家反情报体系之内，由 NSA 等机构收集中国为颠覆它而做的努力。目标是提高攻击和外泄的成本，直到对手必须动员足够的资源，留下你能看见的痕迹，然后再配上可信的报复威胁。你无法阻止从近海发射的巡航导弹，但你能看到那枚巡航导弹。Edouard 用了一个不太体面的比喻：芝加哥的帮派。你阻止不了另一伙人开枪，但他们知道你也会开枪。他说，大国之间的稳定正是这样维持的，不靠完美的防御，而靠后果。拜登执政期间及更早的时候，缺少的恰恰是后果。对手在美国国内损害美国利益，代价很小，因为美国人的思路会直接跳到核升级。如果承认中国在美国境内运作的警察站确实存在，那就接近战争行为了。没有任何回应，就会教会对方继续推进。噩梦般的 AI 版本是：训练运行看起来有 bug 而且进展缓慢，而权重早已在别人的集群上更高效地运行了。

有读者问，兄弟二人为何要让人们去搞一个超级智能项目。Labenz 则把同一份文件读作一份警告。Jeremy 称这份文件有点像罗夏墨迹测验。他们写完之后的私下结论是，无论是否存在大型国家项目，大部分措施都应该落实，因为否则就会出现那种往齿轮里撒沙子式的盗窃。情报官员告诉他们，非国家代理人几乎具备了资助和训练它们的国家所拥有的全部 TTP，因此安全门槛必须围绕每一个严肃项目设立，而不只是政府项目。认真对待 Sam Altman 关于大规模杀伤性武器的说法，应该与 Stargate 的做法截然不同：不宣布一项 5000 亿美元、选址人人都能找到的建设计划，也不运营一个中国籍人员占比很高、关键知识产权经 Slack 外泄的实验室。一名 OpenAI 内部人士告诉他们，他找到了两个网络漏洞，可以让他获取并提取某个关键托管模型的权重。这不是一个严肃行为体应有的做法。在他们的框架里，OpenAI 在一定程度上也是竞赛动态的受害者。第一步是列出漏洞、评估价值、按利用概率排序，然后逐一处理。

他们认为，中国的开源发布并非普惠的礼物。从现在起，任何从 DeepSeek、华为或腾讯发布的东西，在战略层面都带着中共的认可。向西方大量投放不谈天安门事件的廉价模型，是一种利益；随着系统越来越能自主行动，在可能藏有后门的模型上赢得公众信任，则是另一种利益。他们怀疑，DeepSeek 直到 2024 年底才被紧密纳入党的体系，而那是在其创始人公开表示美国出口管制确实有杀伤力之后。这些言论让此前多年耗资不菲、称管制无效的宣传化为泡影。Jeremy 说，一笔大交易要等到能检测篡改的芯片外壳和片上治理之类的东西出现，才能让“信任但核查”成为一种选择。他喜欢这个研究议程，也希望由 AI 加速它；制造、设计、集成和调试都很慢，一些情报界的接触者并不乐观，认为防篡改外壳在敌对方的长期控制下根本无法存续。关于 Dan Hendrycks 的 MAIM 工作，Edouard 认同其坚持：你可能需要主动的反情报和能力削弱，因为发展对齐技术所需的余裕，可能来自让自己加速，也可能来自让对方减速，而让自己加速会缩短时间线。根据他们与情报界的交流，缺失的一环是一种幻想：国家行为体能跨过、代理人却跨不过的安全门槛。这些能力之间的界限，并不像论文所希望的那样清晰。

从节目开始的头几分钟起，Labenz 就不买国家项目的账。他要修补的漏洞、对美国价值观的妥协以及权力的集中，在他看来，足以成为转向的理由；他宁可努力重建足够的信任，哪怕可能性不大，让人类能够共同发展先进 AI。他说，他或许天真，但并不认为自己是无知的。RL 训练出的模型已经表现出安全理论家曾警告的许多恶劣行为，而眼下又没有低风险的方案。他提醒自己：“我们与中国人的共同点，远比我们与 AI 的共同点多。”因此他宁愿押注于同类人类，也不愿押注于仓促打造的超级智能。Harris 报告并没有回答这笔赌注是否明智；它列出了账单，并请读者把它当作一份活的文件来看待。