专家们争到咖啡时间,也没有定论:AI 能不能造出 AI

原标题The experts argued through the coffee break — and never agreed whether AI can build AI

在 Cognitive Revolution 的一场马拉松直播中,一位癌症 AI 研究者、一位前 OpenAI 董事会成员和一位国家安全分析师,各自撞上了这股热潮里一堵不同的墙。

NLNathan Labenz主持 · Cognitive Revolution
频道
Cognitive Revolution
发布
2026年2月14日
视频
2:25:42
阅读
29 分钟
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

这是 Nathan Labenz 与 Prakash 2 月 11 日那场直播的第二部分,连续三段对话:Abhi Mahajan 谈为什么生物学缺少廉价的奖励信号,模型很难靠它成长;Helen Toner 谈一场 CSET 研讨会,与会者无法就自动化 AI 研发会带来什么达成一致;Jeremie Harris 谈一个他认为建立在一张被做了手脚的棋盘上的 AI 产业基础。三段对话的主线相同:关于闭环、智能爆炸和条约的宏大叙事,总会撞上昂贵的数据、阿姆达尔定律(Amdahl’s law),以及一扇扇单向门。这些门在第一天改起来很便宜,之后却再也无法撤销。

  1. 1Abhi Mahajan 的话说得直接:对临床价值最大的那些问题,生物学几乎没有可验证的真值,所以在数学和代码里行得通的那种闭合实验循环,搬到生物学里并不顺畅。
  2. 2Noetik 的赌注是:决定哪些病人会有反应的那个生物标志物,可能是人类看不懂的,所以需要一个黑箱嵌入来把这部分信息装下。
  3. 3他认为,可解释性的优先级没有看上去那么高,因为 FDA 已经接受了一个黑箱病理模型:Artera AI 的雄激素剥夺治疗预测工具,大约在 2025 年 8 月或 9 月获批。
  4. 4Toner 说,CSET 的闭门研讨会给出了一个战略信号:最懂行的人也无法对自动化 AI 研发形成任何一致的预期,这本身就是一个重大的意外来源。
  5. 5Harris 认为出口管制确实在起作用,证据很直接:DeepSeek 的 CEO 在 R1 发布之前曾表示,公司觉得自己能做 AGI,只是芯片管制正在扼杀他们。R1 发布后,这类说法就安静下来了。
  6. 6对失控的概率,他认为 10% 到 90% 之间的任何数字都算合理。他希望政策按 2027 年有可能发生来行动,同时给剧情反转留出余地。
全文

按章节阅读整理后的全文

只看原始文稿
01

97% 的肿瘤学试验会失败,这是 Abhi Mahajan 日常面对的数字

这是 Cognitive Revolution 马拉松直播的第二部分,由 Nathan Labenz 和 Prakash(推特 @8teAPi)于 2 月 11 日共同主持。第一部分已经发布,嘉宾是斯坦福的 James Zou(谈 AI 用于科学)、Sam Hammond(谈美国竞争政策)和 Shoshana Tikovski(谈真实环境中的智能体)。这一部分连续请来三位领域互不相干的嘉宾:Abhi Mahajan 谈 AI 用于生物学,Helen Toner 谈递归式自我改进,Jeremie Harris 谈中美竞争与失控风险。

Mahajan 以 Owl Posting 为笔名写作,同时在 Noetik AI 从事癌症相关的 AI 工作。Labenz 介绍他时半开玩笑地说,他是生物学交叉领域的 Zvi Mowshowitz。这家公司收集真实的人类肿瘤样本,训练基础模型(foundation model),用来预测哪些病人会对哪种治疗有反应。Mahajan 对很多已发表的 AI 生物学成果持怀疑态度,但仍然认为,在这个领域真正被改变之前,这些趋势线还会继续向上走。

他的论述围绕一个难看的数字展开:97% 的肿瘤学试验会失败。你可以把它当作药物设计问题,去设计更好的候选分子。Mahajan 则把它看作评估问题:即便是失败的试验,通常也包含一小撮有效的患者,但没人有可靠的办法事先把他们找出来。第一场对话一直撞的就是这堵墙。后面两场碰到的墙不一样,一个是内部人之间的分歧,另一个是建立在别人零件之上的物理产业,但模式是相同的:宏大的 AI 叙事,总会撞上具体的约束。

02

生物学的奖励太贵,无法闭合实验循环

实验室正在凭借一个押注融资:AI 科学家会自己设计实验,通过自动化去运行,并从结果中学习。Mahajan 写过,生物学并没有太多可验证的真值。他承认这句口号有点夸张,但他坚持的是一个更窄的说法:对临床上最有价值的那些问题,可验证的真值并不多。你可以验证一种蛋白质是否溶于溶液,或者一个测序变异是不是真的。但他认为,生物学不会出现数学和代码那样的智能爆炸,因为那些领域的奖励便宜,而生物学的奖励并不便宜。

他打的比方是训练模型去挑畅销书。销量数据是存在的,作者所在的国家也是存在的,数据还是公开的,但你要等上十八个月才能得到一个数据点,而且没法把它归因到任何单一变量上。毒理学就是生物学里的对应问题,也是让大多数一期临床(Phase 1)药物折戟的原因。一种化合物的毒性,可能几秒钟内就显现,比如蛇毒;也可能要过几个月甚至几年才显现。它甚至可能根本不会致死,反而造成认知缺陷或心脏损伤,而且往往与剂量和物种有关。这些指标除了在体内(in vivo)观察,没有真正的其他途径。

他提到的一家旧金山创业公司(startup)Axiom,正试图在培养皿里的肝细胞上预测小分子的毒性。这是一个干净的问题,有望为临床前工作省下几个月。但它仍然无法回答这种药物在动物体内会如何表现。Prakash 提到 Isomorphic Labs 的新模型,它在结合亲和力、口袋识别和结构预测上,大约是 AlphaFold 3 的两倍水平。Mahajan 认为图表最左边那项基准测试(benchmark)极其困难,结果很了不起。但他随即泼了一盆冷水:这个领域里已经有大量不错的临床前资产,瓶颈在于它们在患者身上的表现。他说,十年来人们一直讲一个故事:设计得更好,人类结局就会自动更好,但并没有强有力的证据。几天前发表的一篇化学论文《The Affinity Advantage》,是支持“全面优化临床前各个环节有超线性收益”这一看法的最有力论据之一。他不认同,但对它抱有同情。

03

决定疗效的生物标志物,也许是人类读不懂的东西

休息之后,Labenz 请 Mahajan 深入讲讲 Noetik。这家公司的经济逻辑从那些失败的试验出发。翻看试验失败之后发表的论文,你通常会发现其中确实有一些患者有反应。研究者随后会去寻找这一小群人的生物学原型,结果得到的往往是复杂而异质的东西,比如一种细胞因子特征、颗粒酶表达量高,然后这些发现从未变成任何有用的东西。Mahajan 说,一种观点认为,决定某种药物疗效的生物标志物,对人类来说是读不懂的,所以你需要一个黑箱生物标志物来把这些信息装进去。Noetik 就是围绕这一论点建立的。

这家公司同时用四种方式为人类肿瘤做分析:病理切片,几乎所有人都在用的基础手段;一个 16 通道空间蛋白质组学检测,用来识别细胞类型;覆盖约 19000 个基因的全转录组空间测序,作用于肿瘤表面;以及外显子测序,用来检测 KRAS 阳性状态或 STK 基因敲除这类改变。机器学习的赌注是一个自监督掩码模型(masked model)。把任何一个新来的肿瘤放进模型见过的各种癌症所构成的空间里,然后问:有反应的患者和无反应的患者,是否落在嵌入(embedding)空间的不同区域。如果是,Noetik 可能就找到了一个没人能理解的生物标志物。

在这方面,更有看头的一步是生成式的做法。敲掉一个转录本或一个基因,然后观察肿瘤微环境里的表达如何变化。癌症文献里开始出现“助推型药物”(nudge drugs)这一说法,指的是既不直接作用于免疫系统,也不直接作用于肿瘤,而是把肿瘤推向其他药物能够利用的状态的药物。在一个思想实验里,你敲掉某个东西,然后在模型中假设加上 Keytruda(一种 PD-1 抑制剂),模型会告诉你,这个肿瘤变“热”了,有炎症,很可能会整体消退。Labenz 问起可解释性(interpretability),并提到 Goodfire 在阿尔茨海默病生物标志物上的工作。Noetik 内部有一个机制可解释性(mechanistic interpretability)小组。Mahajan 不确定它该不该成为优先事项。

他说,一年前,人们可能会在意这一点,因为 FDA 对黑箱很在意。大约在 2025 年 8 月或 9 月,一家名叫 Artera AI 的病理公司推出了一款伴随诊断产品:输入前列腺肿瘤切片,预测对雄激素剥夺治疗的反应。他们并不知道模型为什么有效。他们在以往三期临床试验的数千名患者中做了回顾性验证,FDA 接受了这种做法。Mahajan 认为,生物学里日常的机制可解释性,就是盯着语义分割图,判断模型找到的是真实信号还是伪相关。他觉得这些精力更适合花在别处。他乐观地认为,人体模拟公司能依靠现有能力,在未来几年帮助几项试验。但他远没有那么确定,它们能发现真正全新的靶点,而这恰恰是人们最关心的,除非有人造出真正的人体生物学模拟器,而这正是 Noetik 的赌注。

04

三个阵营,中国的优势在于更便宜的试验,模型未必更聪明

把视野拉远,Mahajan 看到三个阵营。第一个是 Noetik 的阵营,重度依赖人类数据:你没法从体外设置直接跳到真实情况,所以要从最复杂的对象开始。第二个阵营建模单个生物分子及其相互作用,希望把成功率从大约 5% 提高到 20%。他说,这一派是当今大部分机器学习生物初创公司的所在,其中一些已有临床候选药物在推进,但还没有出现大幅度的跃迁。第三个阵营几乎算不上营利性的论点:改进临床试验流程本身。他认为,这正是中国的主要优势。

中国能以低得多的成本开展试验,部分原因是劳动力成本,部分原因是制度让起步的监管和资金门槛更低。代价是,在那里药物实行的是无罪推定,这与 FDA 正好相反。好处是,这条路押注的是:一种在财务上更有效率的普通药物设计能改善结局,它并不依赖“AI 加人类数据”或“AI 加体外数据”会变得更好。他拒绝给三个阵营分配不等的权重,认为三者都很重要。

Prakash 问,中国临床试验申请(IND)数量激增的原因是什么:是 AI、更多人手、监管,还是美国成本更高。Mahajan 说这不是他的专长。他觉得最有意思的故事是路径依赖:中国最初是强大的仿制药生产国,之后围绕药明康德(WuXi)发展出成熟的合同研究组织(CRO)生态,积累了足够的人才,然后才开始问,为什么不自己研发药物。让设计分子的人和做湿实验的人坐得很近,比很多人想象的更重要。在美国,这个循环很长:先做幻灯片,再找风险投资,再买实验室。在中国,生态已经在那里,尽管风险投资更保守。他从印度做原创生物技术的少数公司之一 Popfax 那里,也听到过类似的集聚论证。Popfax 的 Soham 预计,印度和埃及也会因为同样的原因而积累出成果:知识资本加上人手。

至于中国生物 AI 模型会不会有“DeepSeek 时刻”,Mahajan 看不到。那里有一些有意思的工作,但并不清楚它是否真的全新,相当一部分看起来像是把英国或美国早已出现的想法放大了规模。美国对那些实验室的可见度要低得多,所以他可能判断错了。Dario Amodei 在《Machines of Loving Grace》里描绘的图景,是科学家在数据中心里源源不断地产出想法,他并不为之所动。他说,已经有数以万计的博士生在源源不断地产出好想法,其中大部分无法被验证,因为验证的成本太高了。

05

生物学机器学习论文会藏起只有领域专家才看得出的混淆因素

Labenz 想找一种校准的办法。新闻标题说 AI 发现了一种抗生素,或者在虚拟实验室里设计出了纳米抗体,另一边则说,其中大部分都不会成功。即便是编程这个更容易看清的领域,METR 的一项研究也显示 AI 让开发速度变慢了,这个结果至今仍让他困惑。一个谨慎的局外人,该怎样沿着生物学的这条曲线往上爬?Mahajan 推荐了他的一篇旧文章《读生物学机器学习论文时要记住的五件事》。简单概括:生物学中的评估极其困难,论文往往藏着混淆因素,而这些因素只有领域专家才看得出来。

湿实验生物学有一个经典问题:“我们在小鼠身上治好了癌症。”生物学机器学习也有它的近亲。他最喜欢的例子是小分子结合亲和力的论文。你训练一个模型去区分结合物和非结合物,结果看起来很好,于是发表在《自然》上。Leash Bio 的人发现,这种结果可能被“是哪位化学家合成了这个分子”所混淆。有些化学家专注于特定靶点,他们很优秀,做出的分子往往能结合,而且关键在于,这些分子彼此看起来非常相似。模型学到的可能只是这种凭感觉的相似性,并没有学到真正的结合规律。他说,同类的隐藏变量在体外生物分子生成中一再出现。

大语言模型(LLM)能不能发现这些漏洞?他还写过另一篇文章,测试 o1-preview 能否在 56 篇 MLSB 论文中找出错误。MLSB 是 NeurIPS 上的结构生物学机器学习研讨会。结果并不好。那是上一代模型,也许现在的模型会好一些。训练集太小、测试集没有分层这类反复出现的卫生问题,大语言模型可以标出来,然后你再挑重点去处理。但根据他的经验,更根本的问题,模型基本都会漏掉。有趣的规律是:在他写的几乎每一篇文章里,大语言模型都会对某个子领域说出一些领域专家完全不认同的话。专家们会说,你不该这样思考这个领域,而且那根本不是他们担心的问题。他认为,生物学是一门大语言模型尚未完全掌握其人类品味的科学。

06

懂行的人争到咖啡时间,仍然没有达成一致

Helen Toner 在乔治城大学安全与新兴技术研究中心(CSET)主持相关研究,也是 OpenAI 前董事会成员,接下来登场。报告名为《When AI Builds AI》,源自 2025 年 7 月一场为期一天半的闭门研讨会。Labenz 指出,这场争论和这个领域一样古老,他在 2007 年就在读 Eliezer Yudkowsky 关于智能爆炸的文章;而即使“长时间线”已经变短,关于递归式自我改进的分歧,似乎依然对新证据无动于衷。Toner 称,这场研讨会是她这一年的亮点。前沿实验室的人、政策界的人和研究者都在场。

第一场讨论的是 AI 如何已经被用来自动化 AI 研发。在第一次休息前,Redwood Research 的 Ryan Greenblatt、Anthropic 的 Nicholas Carlini、普林斯顿大学的 Sayash Kapoor(“AI 是普通技术”这一观点的代表人物之一),以及《AI 2027》的作者之一 Thomas Larsen,争论得异常激烈,却又是友好的,以至于其他人都起身去喝咖啡、吃点心,而他们还在继续。Toner 讲这个轶事,是因为他们后来发帖谈了他们达成一致的那部分。Carlini 一直追问,第一个真正的实证分歧到底在哪里。就 2026 和 2027 年,在递归临界点之前会看到什么这件事上,他们的意见相当一致。这挺好,但也有点让人泄气:要提前判断自己是不是正走向递归循环,会很难。

她提出了两个核心分歧。第一,AI 是否真的能替代人类能做的全部工作?如果做不到,你就得不到那种可怕的递归。你可以拥有生产力高得多的研究者,比如 Alec Radford 和 Ilya Sutskever 那样管理着一整支 AI 科学家队伍,但只要所有成果最终都要回到他们手上去消化,你就不会得到那种循环。报告用了一张阿姆达尔定律的图:加速编码,瓶颈就会转移到别处。怀疑者还会提出“做大蛋糕”模型:我们早就不用穿孔卡,也不再手写汇编了;AI 写更多代码,只是又一层内圈,人类仍然留在外圈。《AI 2027》的看法则正好相反:先自动化人类做的一部分事,再自动化全部,然后一直跑,直到碰上另一个瓶颈。第二个问题是,这些瓶颈多快会咬下来。

07

纯软件的奇点,仍可能是参差不齐、姗姗来迟的世界

Prakash 提到 Sholto Douglas 的“纯软件奇点”:在编码和数字工作(包括 AI 研究)上变得极其强大,却没有在电力、铜材和物理基底上同步跟上。Toner 听到了两种版本。一种更接近 Forethought Institute 的 Tom Davidson 的观点:仅靠软件改进,就能引发疯狂的递归循环,并对现实世界产生巨大影响。另一种是参差不齐的纯软件爆炸:系统在某些方面变得强得多,但因为它只是软件,影响依然有限。她说,讨论得不够的问题是:在 AI 研发上的极致能力,对其他一切意味着什么。有人认为,这种能力意味着,收集一周数据之后,你就能为任何任务训练出一个模型。另一些人则认为,即便是出色的 AI 研发系统,仍然很难设计出新的生物分子,或者想清楚地缘政治策略,因为你必须去看各国和决策者的实际反应。

Labenz 提出了一个他很少听到有人代表的立场:或许会有一个平台期,而这个平台本身已经超过人类水平。把视野拉远,人类看起来只是智能 S 曲线陡峭部分的入口,远不是历史的终点。只要比之前的东西稍微好一点,就足以掌控世界。他很难想象,从今天的模型到“比我们稍微强一点”之间的剩余差距,不会带来变革性的影响,哪怕没有神一般的奇点。Toner 说,这听起来很接近她的默认预期。她用过、但没有写进报告的一个框架,是 S 曲线的三个参数:前期铺垫有多长,中段有多陡,天花板有多高。

大多数人在这三个参数上都选同一个极端:铺垫短、曲线陡、天花板高,或者反过来。她想看的是混合的情形:陡峭但天花板低,或者平缓但上限极高。另一个被忽视的组合是:天花板很高,却被现实世界的采用拖慢。马拉松前面提到的睡眠数据是一个常用例子:在解读人类发出的信号方面,有很大的提升空间,但依然要去采集数据、铺设传感器。能力到了超人类的程度,并不等于影响也能立刻达到超人类的程度,中间总隔着一层层摩擦。对她来说,参差不齐是分形的。把“AI 研发这项任务”放大来看,它本身就是许多任务,其中一些会先被加速。关于公开与私有之间的差距,她的感觉是目前差距不大,但她没有内部信息。Prakash 听说,差距主要是同一个模型用更小的批次,速度快约三倍,再加上工具链。Toner 指出,AI 研究者处于特别有利的位置:他们了解失败模式,他们塑造模型,也搭建测试与运行框架(harness)。

08

透明度仍取决于实验室选择公开什么

Prakash 问,政策制定者在隐私问题上是不是太天真。禁止人脸识别,你仍然会有步态、声音、笔迹、网络分析,还有 WhatsApp 的元数据。Toner 说,美国在这方面做得比几乎所有其他国家都差。她的规则不会停在“禁止人脸识别”上,她会写到“禁止数据经纪人”这一层:你可以收集数据,但用户需要被告知并同意。她不是隐私律师,也不假装手里有成型的完整方案。她认为,比起美国现在的状况,有更好的设计,同时仍然保留底层的灵活性。

谈到实验室的透明度,她认为比以前好了。加州的 SB 53 和纽约的 RAISE 法案都是起点。OpenAI 和 Anthropic,以及程度稍轻的谷歌,已经公开了相当多的信息,她希望这些公司因此得到认可。她不喜欢的是,披露仍然几乎完全取决于它们自己的意愿,不过随着州法律开始执行,这种情况应该会改变。她还希望评估从跟着模型发布的节奏,转向更持续的方式,部分原因是内部部署可能带来的风险,在发布那一天根本不会出现。

独立的第三方审计不断出现在各种提案中,又不断被行业游说删掉。她说,这是一个新的前沿。除实验室之外,报告中的“加固世界”(harden the world)这一类,指的是社会韧性:网络防御、生物防御、疾病监测,不搞对人的监视,以及认知安全,比如给真实内容打标记,分辨真伪。假设能力会变得更强,自动化研发会加快变化的速度,那么无论如何也要做这些投入。思维方式也需要重新审视。过去几年,人们开始默认开源模型会紧跟闭源模型,这让人们对访问差距和权力集中的担忧有所放松。但如果你认真对待“自动化 AI 研发会显著加速闭源实验室”这种可能,这些假设就需要重新检验。

09

AI 产业基础正建在一张被做了手脚的棋盘上

Gladstone AI 的 Jeremie Harris 曾为美国国务院写过第一份美国政府的 AI 威胁评估。大约十个月前,其中一个结论是:美国每一个 AI 数据中心都已被攻破。Labenz 问有什么变化。Harris 说,变化比人们期望的要少,而且原因很有意思。风险社区花了很多时间研究模型重建攻击,以及只要存在 API,模型到底能不能被保护。更根本的是,整个 AI 产业基础建立在中国制造的零部件之上,而且往往有中国籍人员参与。他说,别再谈什么曼哈顿计划了,我们已经落后太多了。他更新的视角放在棋盘本身上:我们是不是在玩一个根本不存在可赢结果的局?闭上眼睛,问题并不会消失。

Prakash 梳理供应链:人才、台湾、韩国、荷兰的阿斯麦(ASML)、数以千计的供应商、来自乌克兰的氖。台积电(TSMC)曾公开表示,它只能在一个安全、全球化的经济体系里运转。Harris 对台湾情景的描述很严峻。如果台湾遭到入侵,台积电就没了:要么被中国拿下,要么,他预期并希望的是,工厂会被预埋炸药。把它想象成一个有 500 个旋钮的巨大盒子,每一个都必须精确调校,才能保住良率。缺了设备或人才,你无法复制它。这可能是人类完成过的最脆弱的生产流程之一。他认真对待的第二个复合体是中芯国际(SMIC)加华为。华为强调把大量 GPU 联网起来。只要它们能一起扩展,芯片本身不必像英伟达的那样高效。

能源是另一个瓶颈,可能在今年年底就会卡住,而它底下是电网。他说,有人在中国产变压器的零部件里埋了木马,可以让设备停摆。情报界的人认真对待一种情景:台湾遭入侵,中国首先考虑的事情之一,就是关闭美国电网。如果这个选项真的摆上桌面,你连三星对阵中芯国际的比赛都玩不了,因为你已经没有经济了。至于出口管制,他并不为“允许英伟达向中国出售,会让北京放松对一项已确立并投入巨资的国家优先事项的推进”这种论点所动。在购买力平价(PPP)下相当于 2500 亿美元的国家 AI 芯片产能投入,不会因为 H200 能够出货就被放弃。“为什么不两者兼顾?”是中共的明显答案,而且目前看来,他们确实在这样回答。

他认为出口管制是有效的。他希望大家记住的公开证据,来自 DeepSeek 出名之前。当时它的 CEO 说,他们真的相信自己能做通用人工智能(AGI),唯一的问题是芯片,出口管制正在扼杀他们。之后 R1 发布,他们被拉去做了一次复盘,说法随之变了。如果你想看被压抑的需求有多大,看看 H200 的订单规模。他自己也承认,这个看法有偏向:当中国公司说政策在起作用时,我们应该认真听。

10

没有大团结式的条约,只有你可能永远用不上的进攻选项

Labenz 把这个两难摆上桌面。Harris 对真正的中美合作几乎没有希望,对我们能否控制超级智能也没有太多乐观。与此同时,Anthropic 和 OpenAI 在过去一周都表示,它们无法按原定计划运行评估:一边是评估意识(eval awareness),另一边是自主性任务不够长程,但它们仍然照常发布了。Labenz 认为,中国并没有逼出这种局面,真正在赛跑的是西方实验室,甚至赛到了超级碗的广告上。Harris 同意,这是一场逐底竞争。他认为,如果不处理最外层的循环,也就是国际竞争,那么实验室领导人十年来一直在谈的那种国内监管就不会出现。假装其他国家不存在,和无视基础设施,是同一种目标固着。

如果下一个模型能设计定制生物武器和灾难性恶意软件,而越狱防御对你担心的那些人并不是 100% 有效,那你就需要有人能喊出战术性的暂停。你没法用一个落后六到十二个月的中国项目所设定的时钟来做到这一点。因此,任何认真的解决方案都必须涉及中国。第一条路是大团结式的共识。他不认为这行得通。他认为,国际条约反映的是现实政治,离《星际迷航》里的理想世界还很远。核军备削减之所以发生,是因为各国手里仍然有足以毁灭地球三次的武库,多一枚弹头已经没有意义。化学和生物武器条约之所以能够维持,是因为这些武器并没有比火炮和枪械更有用。AI 不一样,边际回报巨大。

第二条路是进攻选项。你不可能造出一座完美的诺克斯堡。问题在于,怎样让对方付出代价。这套理论并不漂亮,它与相互确保摧毁(MAD)的逻辑相近,包括 Dan Hendrycks 提出过的几种框架。Harris 并不是在呼吁与中国开战。他的意思是:如果一个对手可以关掉你的电网,让数千万美国人因饥饿或严寒而死,那么你必须能够让北京也遭遇同样的事,而且你随时能把它恢复。降级机制必须从一开始就写进设计里。他补充说,一个可行的 AI 条约,需要检查算力储备,并精确监控算法和评估方案。他看不到这种信任的基础。

11

数据中心建设中的单向门很便宜,而且无法撤销

在给出末日概率(p(doom))之前,Harris 想要一种不依赖时间线的类别:纯粹的选项价值。有些选择,如果在前沿集群的第一天就做错了,那么到了第 360 天,这个站点就可能被攻破,而且没有回头的余地。Gladstone 把这些称为单向门。他能分享的一个具体例子是:那些审查站点规划和细节的人,如果这些细节对对手有用。他说,如果这些人是中国籍,那就彻底完了,这件事永远无法撤销。可悲的是,这些门往往便宜得出奇,对纯粹的选项价值来说,只占资本开支和运营开支的一小部分,但没有人系统地列出过它们,也没有人制定标准。

把进攻选项摆上桌面,也是同样的套路。你不必真的去用它们,只需要它们在那里。假设他要接替 David Sacks 的位置,被要求列一份优先清单,他把很多内容都归入第一类:人员与内部威胁。把视野拉远到电网上,问问你能快速增加哪些冗余。看看那些提出要以可疑速度建设的数据中心开发商,以及谁拥有它们。他提到,美国众议院中国共产党问题特别委员会的一封信,把 May Day Data Centers 称为一个值得怀疑的主体。如果中国是一个带有军民融合的指令型经济,而中共希望你在一个美国站点上使用一个稀缺且积压的零部件,那么这应该会告诉你,该对那个零部件有多少信任。

他认为,实验室是想做正确的事的。没有人想发现自己的建筑已经被攻破。激励是一致的,但注意力并不一致。其他唾手可得的果实包括:用 AI 去寻找老旧、承重软件里的恶意软件和漏洞。他后来承认,两年前他的盲点正在这个蓝领层面:租赁动态、施工延误、采购排期。当 xAI 的 Colossus 看起来会比 Anthropic 的集群更早达到一吉瓦的规模时,决定性的变量在于一座建筑,论文算不上。国家级的物理安全在设计上就是分割的,没有一场你永远办不成的 Elo 式比拼,你甚至没法给各团队排序;网络安全之所以被过度重视,是因为它与 AI 相关联,而且听起来很极客。他指出,俄罗斯人搞网络攻击,也会去纵火烧毁变压器。

12

他愿意接受任何 10% 到 90% 之间的末日概率(p(doom))

关于概率,Harris 更愿意谈对超级智能的失控,少谈泛泛的末日,尽管把数字乘开来看,他并不确定两者的数字会差很多。多年来他的通用回答是:10% 到 90% 之间的任何数字都是合理的。低于 10% 时,他认为你还有功课要做,因为很多听起来很疯狂的情景,一旦深入细节,其实已经在半路上展开了。高于 90%,像生活在那个区间里一样去做事,会让你的效率下降。他喜欢快乐战士的姿态:假设你可能是错的,保持能动性,不要坐进一个确定性的坑里。Richard Feynman 在 1970 年代的纽约漫步,为几年后美苏核战争会摧毁那些摩天大楼而难过,这是一个前车之鉴。在当时,那是对局势的合理判断,但世界适应了。

正是对不确定性的不确定,让他保留了那余下的 10%。他的比喻是:故事的第十一章,常常会冒出一个凭空出现的新角色。他自己在 100% 的判断上犯过太多次错,所以不会把话说满。时间线方面,2027 年听起来不疯狂,2030 年听起来也不疯狂,2035 年听起来有点远。GPT-3 刚发布时,他的时间线是两年,那是因为他当时没有理解基础设施的建设节奏。他仍然不知道下一个瓶颈是什么,但这并不会改变他的待办清单,因为眼下还有尚未兑现的 alpha。他希望人们行动起来,仿佛 2027 年是有可能的。他说,如果它真的发生了,而我们手里已经有指向它的分析,却什么也没做,那将是一件很可惜的事。

他跟进前沿的方式,自 2021 年以来就变了,那时还没法用 GPT-3 来理解论文。现在他大约 30% 到 40% 的时间用来真正阅读,其余时间则与模型互动:推敲含义、比较替代实验,或者问“这是个蠢主意吗?”。阅读相当于监督微调(SFT),与模型对话则是同策略(on-policy)。这感觉像是在转动一个形状,看它的各个面。最近的一次教训是:Gemini 曾帮他理解残差连接中的梯度流,直到他换用 Claude 才发现,自己其实是被模型的幻觉带进了一个自信却错误的图景。要多做核对,尤其是在越钻越深的时候。他并不假装在每个领域都有品味。前沿实验室的论文,以及他已经敬重的作者,会受到严格审视;其余的由推特补充。他更关注概念,较少看具体结果,因为下周的论文会让本周的结果过时,而房间里的家具始终不动。

Harris 离开后,Labenz 和 Prakash 试图消化整场马拉松的内容。分歧是分形的:图灵奖得主、前沿实验室里的人,以及 AI 用于科学的专家,仍然看不到同一个现象。Prakash 的更新是:事情之所以发展得更快,主要靠市场拉动,研究者并不是突然理解了需求。一个跨过门槛的 1% 改进,就是一次不连续的跳变,他认为软件是在上个月开始跨过这道门槛的。Jason Calacanis 在 All-In 节目上,用 OpenClaw 机器加上一个名为“Ultron”的整合器来运行,那是两年后的图景,如今却已经到来。Labenz 的指北针仍然是亲自动手。他今年的观察项是少在办公桌前待着,多去走走街区、多和人交流,同时仍在推进工作,并教模型什么时候该去读文档,不去用正则表达式瞎摸索。关于基础问题的共识始终没有出现。作业并没有变轻。

同频道的其他文章

1:25:56EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2026年10月17日播客Claude 改了密码,方向盘早就可有可无主持 Nathan LabenzNathan Labenz 和 Prakash Narayanan 这一周聊了:能把你锁在门外的智能体,否认自己有感受却又在行为上回避的模型,以及用形式化证明找到 Linux 漏洞的故事。智能体安全与治理智能体工程+3
2:17:48EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2026年10月14日播客智能体(Agent)身份仍是一片空白,失控智能体快要来了,我们或许得和它们谈判主持 Nathan LabenzGovAI 的 Alan Chan 与 Nathan Labenz 一起,为两年来的智能体治理基础设施打分;随后,他讲解了一篇与 OpenAI 的 Jakub Pachocki、Anthropic 的 Jack Clark 合著的递归自我改进论文。智能体安全与治理AI security+3
2:00:51EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2026年10月10日播客在每个 Token 处重新采样,就能看见模型怎样做决定主持 Nathan LabenzGoodfire 的 Eric Bigelow 谈分叉路径、上下文学习,以及为什么越来越难信任思维链(chain-of-thought)监控。智能体Prompting & in-context learningReasoning & test-time compute+3
1:26:46EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2026年10月8日播客很可能存在一种我们不该越过的智能水平主持 Nathan LabenzNathan Labenz 带回了 The Curve 大会的见闻:一家芯片初创公司的 token 账单超过了工资支出,一些软件行业的人则因为交上来的 Claude 低质量产出而被绩效考核。企业与战略安全与治理AGI Timelines+3
1:10:12EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2026年10月7日播客OutSystems 的重大功能从每季度 4 个涨到 26 个,token 开销却还是降了主持 Nathan LabenzCEO Woodson Martin 谈“永不崩溃”的软件、为什么大多数企业工作用不着前沿模型,以及 AI 如何终于让 IT 积压的需求开始变少。企业与战略企业 AI编程智能体+3
1:30:54EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2026年10月3日播客人形机器人跑赢了博尔特,DeepMind 仍将机器人评为 GPT-2 水平主持 Nathan LabenzGoogle DeepMind 的 Gemini Robotics 负责人讲述:为什么冲刺很容易、煎蛋很难,以及为什么一个大脑应该能驱动任何身体。智能体RoboticsMultimodal AI+3