一次训练就是一台粒子对撞机，而与中国的竞争则是一场五十年的赛跑

Burja 把人工智能当作对一个人所持各种世界观的压力测试：什么是心智，人类有什么特别之处，能动性是否比原始智能更重要。他承认，计算机科学在 21 世纪初确实取得了真正的进展，那时“AI 科学家”仍然是个像样的职位名称；而过去四五年间，模型越做越大，也确实带来了真正的突破。他认为，如今许多实验室所做的，主要是在应用 2000 年前后就已经摆在桌面上的理论洞见，这也是 Transformer 的功劳归属至今争议激烈的原因。在他看来，大语言模型（LLM）这个说法指的是一种应用，就像“汽车”指的是整台车，而非其中的发动机。

考虑到如今对生成文本和知识的需求如此强烈，他预计会出现超越 Transformer 的架构革命。该领域仍然缺少一套关于“更大、不同的数据集究竟会带来什么”的强有力理论。他说，与超音速飞行不同，那里约有 80% 到 90% 的相关科学已经定型，剩下的只是工程问题；而这里是“工程早已超过了理论”。训练运行并不只是“发布一个应用”。它是一项实验，就像世界上突然多出了几十台大型强子对撞机，而千亿美元级的软件估值早已显得乏味。

这种认识论让他对那些披着摩尔定律外衣的预测保持警惕。输出质量不再随着算力增加而同步跃升；令人意外的是，人们找到了用更少算力得到同样输出的办法。他说，六个月或十八个月之前，无论专家还是创业者都没有这样预测，而他采访过的科学家之间也没有共识。对规模定律（scaling law）的热情，借用了“半导体物理已经被理解透了”的感觉。但在 AI 领域，科学上的墙随时可能出现，所以单纯堆更多算力，算不上什么自然法则。

他的进步理论很直接：记下谁拥有最多算力的表，大约每六个月更新一次，然后拒绝据此下注。围绕 GPU 分配和融资的公司政治很有意思，但他会押注拥有最好 AI 科学家的公司。从 Demis Hassabis 的公开文字来看，他似乎想弄清智能的本质。Ilya Sutskever 谈论模型时带着近乎宗教的神情，仿佛这项工作关乎宇宙之美。

钱仍然重要，不过主要是用来筛选谁负得起犯错的成本。大多数二线 AI 公司都在“非常迅速地烧掉大量金钱”，他预计其中大部分会在几年内倒闭，而巨头们会留下来。谷歌、微软，以及与亚马逊合作的任何公司，都可以像沙特阿拉伯在沙漠里建起一排摩天大楼那样“建造算力金字塔”，同时仍然是地球上最赚钱的公司之一。他坚持认为，单有烧钱的本钱，并不会带来突破。

他说的“科学家”，指的是具有智识卓越、深度热情、并且不被营销和社会压力左右的人，不包括软件工程师或数据科学家。在他看来，西方文明内部有一种天然的冲突：商业思维热衷于吹捧当前的计划，而科学的存在恰恰是为了推翻它。精英大学把普鲁士研究型大学模式扩张成了学位工厂，如今培养出的是“随和顺从”，这恰恰与打破范式的研究所需要的相反。当一个社会的人才筛选机器与它的科学机器是同一个机构，这本身就是一种矛盾，而西方至今仍不知道该用什么来替代大学。

这也是他总在追问人才究竟来自哪里的原因。他向听众提出挑战：说出一位学术归属在哈佛的杰出 AI 科学家。他还指出，加拿大的大学、MIT、英国和法国的学校，以及在前苏联接受培训的人，都远远超出了自身体量应有的分量。他说，现代模型底下的许多数学，是在算力匮乏的环境中用纸笔算出来的。ChatGPT 之后，学术界已经被“掏空”，那些仍然追问智能本质的人所剩无几。有些数学家出于恐惧转行——他把陶哲轩部分归入这一类，并引用了 Eliezer Yudkowsky 的影响——他们或许会成为不错的工程师，却只能算平庸的科学家。让有缺陷的人类大脑锁定真相的，是好奇心，而非恐惧。

如果有人想列出可能的范式打破者名单，Burja 认为他们或许能抓住其中约 90%，然后看哪些公司拒绝被产品路线图奴役。他提醒听众，ChatGPT 出自一个曾被人嘲笑只发白皮书、不发产品的实验室。在他的叙述里，OpenAI 的非营利结构，相当于给了它能找到的最好研究者一种类似终身教职的保障：他们可以发表论文、努力工作，并在一段“史前时期”被招募进来，其中包括 Sam Altman 和马斯克的合作，甚至还有特斯拉给早期员工的赠礼。

这样的创始阵容在当前环境中已经无法复制。“梦之队”已经分裂，他点名的是 Dario Amodei 和 Ilya Sutskever，不过他们在这个过程中可能培养了大量人才。在整个世界认定这家公司大获成功之前，就在 OpenAI 担任 AI 科学家（而非软件工程师）的人，在他看来被低估了，值得挖角。学术界已经不再大规模培养这种科学心智；剩下的人才储备，就是已经在那些早期实验室里成长起来的人。

休息之后，他把论点说得更加锋利。他说，西方除了 AI 热潮之外，没有任何集体的财务偿付计划，却在给算力这台“粒子加速器”过度投资，同时给理论物理学家投入不足。他的逆向论断是：AI 科学被低估了，AI 算力被高估了，主要是因为一款产品走红了。最尖锐的版本是：两三个用户体验决策，本可以让 ChatGPT 始终留在专家和程序员的圈子里。在那个世界里，他认为，最初的团队仍会聚在一起，仍在写白皮书，理论进展也会走得更远。他之所以提出这种异端观点，是因为他梳理过相关讨论，几乎找不到有人这样论证。

Labenz 同意“Transformer 不是历史的终点”。他说，更广泛的社区吸收了一种“历史终结”的情绪：只要架构不断做大，变革就会到来。他并不排除这种可能，但他预计，理论上的进展会让一次耗资万亿美元的 Transformer 实验变得没有必要。Burja 立刻指向图像：几乎所有图像都是扩散模型生成的，Transformer 并不负责这件事。他问：如果 Transformer 是完全通用的智能，那为什么在图片上会差这么多？

他提到寒武纪大爆发（Cambrian explosion），即化石记录中多细胞生命突然涌现出的多样性。在历史的大部分时间里，人类只认识人类和动物的智能；后来，人们又加入了另一种不同类型的计算机智能，他认为其中也包括图灵机本身。如今，计算机智能正在分化成不同的种类。他预计会出现一张“过程周期表”：所有这些过程都能产生我们称之为智能的东西，只是强弱各异。人类智能或许是氢，即第一种原子，而恒星则继续合成氦、铁和铀。

这些弱点会和优点一样令人震惊。把生成式模型放进一个循环里，它们会“融化成不连贯”，无法追求目标，也无法作用于世界。20 到 30 年前如果有人告诉你今天语言表达的流畅程度，你大概会以为指挥机器人或雇一个软件行政助理是轻而易举的事。然而，ChatGPT 之后涌现的那一波个人助理创业公司，做出来的东西更接近一个 Calendly 链接，远谈不上一位人类幕僚长。

Labenz 开始把这个时代称为“架构混合”的时代。他自己着迷的是状态空间模型（state-space models），他认为它是第一个在表现上能与注意力机制（attention）相当、同时展现出互补微观技能的新核心机制。从高层看，一个大型状态空间模型和一个 Transformer 聊起天来可能差不多；在微观层面，它们却是一枚硬币的两面，这就是混合堆栈突然成为令人兴奋对象的原因。看看大脑的教科书示意图，那里有重复排列的皮层柱，还有许多其他部件，他认为，一张可以拼插组合的组件周期表，才是正确的思维模型。

当被问到美国总统应当如何限定结果的范围时，Burja 不愿把算力竞赛当作软件公司之间的竞赛。这是硬件竞赛，意味着要对半导体和能源实施产业政策。他指出，特朗普已经公开表示，国家需要把算力所需的能源供应翻一番；Burja 推测，这一说法来自一位懂行的人。他那些自由意志主义的朋友会讨厌的部分，是政府不应只是让开道路，而应当在美国本土购买算力。

就连台积电（TSMC），他说，也无法在美国经营一座利润相当的芯片工厂；张忠谋公开表示，美国的单位成本要高出 50%。如果台积电都弥合不了这一差距，英特尔也不太可能做到。即使是盟友之间的自由贸易，也意味着第二大芯片工厂可能设在美国，却永远不会是最大的：“自由市场不会提供这种东西。”他想要的是本来意义上的新硅谷，也就是硅，即硬件。《连线》杂志曾把深圳称作“硬件界的硅谷”，在他看来，这是一个早期警告：软件独角兽随之而来。他的朋友们曾嘲笑这一警告，直到 TikTok 和百度让这一点再也无法忽视。

政治经济学无法照搬 NASA，因为 NASA 必须把项目撒到全部 50 个州，以保住预算。这是造火箭的糟糕方式，SpaceX 没有这样做。他希望由联邦指定一个特别经济区，可能是一座港口城市，并且“把所有监管都挪开”。他认为，亚利桑那州芯片厂的延误，包括托儿所要求和建筑规范在内，大多与造芯片本身无关。弗吉尼亚州的数据中心密度使它成为候选地；加州则可能就是太难打交道了。

他并不希望与中国展开那种关乎生存的军事硬件竞赛，因为美国会输掉这场竞赛。中国不需要占领台湾，只需摧毁台湾的芯片产能，并让船只出港变得极其艰难。在他看来，入侵中国大陆或互换核打击，都不是认真的答案。美国的工业“相当不错”，但它在工业上的同类是德国，并非中国。所有对德国去工业化的抱怨，都适用于美国制造业，只是被一层巨大的软件、金融和服务业外衣遮住了。这就是为什么阿斯麦（ASML）是荷兰的，而三星是韩国的。

Labenz 很反感把这种关系框定为冲突。Burja 同意美国应当拥抱经济竞争，并停止过分强调地缘政治角度，因为这正是中国的思路：地缘政治要靠经济来赢。在他略带戏谑的解读中，中国共产党的马克思主义足够正统，因此会得出结论：掌握世界的工厂，即生产资料，是通往主导地位的道路；而且它并不排斥利用自由市场资本主义去抵达那里。历史的模板是先统一中国，再以优势压制周边、收取贡赋，罗马式地征服外围则不在其中。

他请听众说出，自与越南的战争（“那已经是半个多世纪前的事了”）以来，中国入侵过哪个国家。他说，最后一次吞并是西藏；在北京看来，香港和台湾是中国领土的统一进程。把修辞军事化，会让中国的军备扩张更有可能发生。21 世纪的美国应当“系好安全带，准备好在未来 50 年里在经济上战胜中国这场长期博弈”。中国不会在五年或 15 年内崩溃。

把视线从北京移开，Labenz 认为美国大约只剩下五家前沿实验室：OpenAI、Anthropic，以及在科学卓越性上仍然领先的谷歌，闯进这场竞赛的 Meta，还有一家不该被低估的马斯克旗下公司。Burja 补充说，如果新德里有一天偏向本土企业，那么印度很可能在五到十五年内出现一个强大的巨头：15 亿用户，正是中国企业曾经享有的那种被圈定的市场。俄罗斯的 Yandex 已经表明，即便只为约一亿用户筑起一道数字墙，也能只花几十亿美元而非数百亿或数千亿美元，复制出硅谷的产品目录，包括自动驾驶。谈到欧洲，他将其与马克龙的个人信念、法国外交官反对德国和比利时过度监管的立场，以及仍在培养菲尔兹奖得主的数学文化联系在一起。伦敦脱离欧盟之后，巴黎可能会成为欧洲的创业之都，前提是未来的法国政府坚持这一战略。

关于 2022 年的芯片出口管制，Burja 的判断是“太少，也太晚”。大约在 2010 年，它们或许能让中国偏离尖端技术路线；如今，它们却成了对中国芯片设计者和制造商的补贴，这些企业只需打败一款被削弱的英伟达芯片，而谷歌、亚马逊、OpenAI 和 Meta 这一级别的公司所带来的国内需求已经非常庞大。中国政府几乎还没有开始大规模购买 GPU，而它富裕到足以把这件事当成国家优先事项。“美国并不是世界上唯一能为一个严肃问题投入一万亿美元的国家。”他指出，美国为亚利桑那州的一座芯片厂投入了约 1000 亿美元，又为一项基础设施法案投入了 1 万亿美元，而那些桥梁究竟在哪里，他说自己也指不出来。

Burja 看好的中期产业牌是电力，因为劳动力在发电成本中占比很小，这让美国数据中心更有可行性。他还认为，美国仍然在科学上领先中国，但这种领先并非技术上的，因此如果美国的资助变得更聪明，几年后被复制也可以接受。他会效仿的一个机构是 DARPA，并专门设立一个只关注人工智能的版本。政治上的问题在于人员配备。

有效利他主义者——他提到了 RAND 前首席执行官 Jason Matheny，以及围绕 Yudkowsky 的“EA 王室”——可以担任项目主任，但他们不应包揽所有任命。“曼哈顿计划可以有 50% 是马克思主义者，但也许只让它保持 50%。”同理，AI 版的 DARPA 可以有 50% 是有效利他主义者，但不能更多。他说，着眼于未来光锥的功利主义者，爱国只是附带的。至于爱国者，他们可能会被带向类似日本帝国的那种灾难，因为明智的路线听起来不够民族主义。

开支需要变得更聪明，光是增加数量远远不够。他举的例子是，与美国相关的资金曾流向武汉病毒研究所的工作，结果是科研资金产生了与安全相反的效果。这件事如今属于“国会作证”的讨论范畴，已经不再只是 Joe Rogan 那类播客里的话题。Labenz 担心，芯片禁运加上秘密的军事科学，可能会把中国推向另一条技术路线，就像冷战时期的生物武器条约让双方都以为对方在作弊，或者像洛斯阿拉莫斯的科学家曾高估德国的核研究那样。Burja 的回应是，当前的美国政府很不擅长保密技术：今天把一个项目定为机密，得到的只会是“免于监督的浪费”，远谈不上 1940 年代那样的曼哈顿计划。

像把 AI 用于美国国家安全局（NSA）的问题这类秘密工作，是可以存在的。凡是能解密的东西，都应该交给商业部门，就像情报界通过 In-Q-Tel 所做的那样。即使这意味着三四年之后中国会赶上硅谷，美国真正的优势仍然是“巨大的财富和科学进步的速度”。保密会拖慢科学，它并不会加速科学。

武器化让 Burja 感到不安，因为科学家和其他人一样，也觉得武器很酷。和平令人向往，暴力同样令人向往；突破背后的动机需要留意。AI 应当继续保持为和平的技术，理由有两个：武器化的系统会招致生存性风险，而武器化的语境不会优先考虑安全。它会教模型去赢得零和、后勤和军事游戏；之后，一个“决定人类是它的敌人”的代理系统，在他看来就完全可以预测了。“天网早已不止是一部电影，它现在是一份卖给五角大楼的提案。”只要做出《终结者》电影所描绘内容的一半，他认为五角大楼就会开出一万亿美元的支票。如果把对华政策定性为地缘政治冲突，将军们就会要的正是这样的东西。他希望业界不要再神化曼哈顿计划：奥本海默享受过“引爆的快感”，之后又后悔了。

Labenz 补充了一个他一直在读的具体对齐（alignment）想法：在损失函数中加入一项，使自我与他人之间的区分最小化，这样模型无论指代自己还是指代别人，内部状态都相同。在简单的强化学习（reinforcement learning）模拟中，这一改动曾是区分会欺骗的智能体与不会欺骗的智能体的关键。在战场上优化区分朋友与敌人，似乎与这一目标不相容。他宁愿领域花时间去发展这种创造力，也不愿冲进杀伤链，尤其是在“架构混合”时代的早期。

Labenz 接着概述了他将其与 Leopold 联系在一起的计划：在几年内压制中国，加固防御，把实验室与国家安全体系融为一体，然后在决定性优势的位置上解决对齐问题，最后再提出利益共享。Burja 则倒推着看这个计划。美国不可能可信地提出这样的承诺——它为遏制苏联而重建了德国和日本；而且他说，华盛顿炸毁北溪（Nord Stream）管道这一点“压倒性地清楚”，这种行为不配一个利益共享的伙伴。“我们”算不上一个会靠委员会解决对齐问题的科学神谕；如果超级智能距离我们是 20 年或 200 年，并非五年，那么减缓中国就是错误的框架。他“很乐意与任何人打赌”，超级智能不会在五年之内到来。

他认为，要让美国的技术栈在面对中国时保持安全，唯一的办法是让它对美国公民也保持安全：一个 AI 领域的斯诺登，一个受审查的互联网，一步步走向欧盟式、再到中国式的控制。他写过：“中心化的互联网是不可避免的。”他把对 Alex Jones 的协同封禁视为危险信号，尽管他并不喜欢 Jones。商业基础设施必须保持开放，否则就会变得“结构性地专制”；他指出，加拿大冻结了向卡车司机抗议活动小额捐款者的银行账户，而这种追踪手段，他没听说有人用在中国小额的法轮功捐款者身上。西方的极权主义仍然得到了豁免，而他不想在这条轴线上与北京竞争。替代方案是重商主义式的贸易政策，以及为经济蛋糕讨价还价；争的是经济蛋糕，无关未来的光锥，因为“第一个未对齐的人工智能，可以说就是官僚体系”。