DeepSeek 宣称训练成本仅 500 万美元，背后是一场关于算力的五年赌注

Lex Fridman 与两位嘉宾展开对谈：一位是半导体研究公司 SemiAnalysis 的创始人 Dylan Patel，另一位是艾伦人工智能研究所的研究科学家、Interconnects 博客作者 Nathan Lambert。他们要拆解 2025 年初那个让实验室和市场都为之震动的 DeepSeek 时刻。Nathan 先从让几乎所有人都感到困惑的命名混乱说起。DeepSeek-V3 大约在 12 月 26 日发布，是一个仿照 ChatGPT 模式的混合专家指令模型。DeepSeek-R1 于 1 月 20 日发布，是一个借鉴 OpenAI o1 思路的推理模型。两者都以同一个预训练检查点为起点，即 DeepSeek-V3 Base。它是一个下一个词元预测器，能帮你把句子接着写完，但比起聊天产品要难用得多。

从这一次预训练出发，DeepSeek 做了两套不同的后训练方案。一条是熟悉的指令微调（instruction tuning）加基于人类反馈的强化学习（RLHF），它得到了有用的 V3 聊天模型，与 GPT-4、Llama 405B 相比颇有竞争力。另一条是在可验证任务上进行的大规模强化学习（RLVR），它得到了 R1。预训练是对互联网文本一次性的、代价高昂的压缩；后训练则是在上面叠加格式、偏好，现在还包括推理能力。正是这种分工让 R1 看起来很便宜：它并不需要从零开始重新训练一个基座模型。

Nathan 强调，开放权重并不等于开源。权重是一堆可以下载、在无网络的机器上运行的大矩阵，这把数据的控制权交到了用户手里，而不是交给某个 API 托管方。按照 Ai2 的做法，真正的开源还意味着公开训练数据和训练代码，因为“数据处理、数据过滤、数据质量是决定模型质量的头号因素”。DeepSeek 没有公开这些，但 R1 采用 MIT 许可证，没有商用或使用场景的限制，还允许基于其输出进行蒸馏。Llama 的许可证则更严格，包括要求衍生模型保留 Llama 的名字。Nathan 的结论是：你不能把一个廉价的 Llama 副本拿来冒充自己的东西，但换成这个中国模型，就可以这么做。

Dylan 把 DeepSeek 的大部分效率归功于两个架构选择，此外还有一长串实现细节。混合专家让模型可以长出一个巨大的嵌入空间，同时只激活其中的一小部分。DeepSeek-V3 的参数量约为 6000 亿，每个 token 激活约 370 亿，而 Llama 405B 每次都会激活全部参数。公开的混合专家模型，比如 Mixtral 风格的模型，通常激活 8 个专家中的 2 个，约占模型的四分之一。DeepSeek 则从 256 个专家中激活 8 个，只占几个百分点。稀疏性就是效率所在，同时也是工程上的噩梦：专家分布在不同的节点上，而如果一个批次的数据全都路由到同一个专家，其余的集群就会闲置。

经典的混合专家训练会加入一个辅助损失，防止模型坍缩到少数几个专家上，但这会与真正的下一个词元预测目标相互拉扯。DeepSeek 的做法是在每个批次之后更新一个路由偏置，让后续的批次更均匀地分散负载。另一根支柱是多头潜在注意力（MLA），这是一种对 KV 缓存的低秩压缩，Dylan 和 Nathan 估计它相比普通注意力能削减 80% 到 90%。要让 MLA 与旋转位置编码（rotary positional embeddings）配合工作，需要额外的结构来承载位置信息，Nathan 认为这类技巧通常只属于闭源前沿实验室。DeepSeek 把它公开写了出来。

出口受限的 H800 削弱了芯片之间的互连，所以 DeepSeek 没有只是去调用英伟达的 NCCL 库。团队手动调度流多处理器（SM），让成组的核心在计算、allreduce 和 allgather 之间切换，代码写在贴近指令集的 PTX 里。Meta 曾描述过为 Llama 3 定制的 NCCL，但没有公布细节。Dylan 的说法是，需要是发明之母：这些底层工作与该架构和规模紧密绑定，而英伟达的通用库总要在性能与可移植性之间做取舍。对于算力受限的实验室来说，那些省下来的性能就是全部的余量。

真正要盯的仪表盘仍然是损失曲线，而 MoE 加上 FP8 低精度训练，会让它以没人完全理解的原因突然飙升。Nathan 在 Ai2 的一段警示故事来自 Reddit 上的 Microwave Gang 社区，那里的帖子是一长串字母 M，评论则是“哔哔”。一个模型在 M 之后期望看到英文，结果面对一堵 M 的墙，损失就会爆炸。成熟的数据过滤能抓住这类问题，而后来的尖峰就更加模糊。Dylan 描述了和实验室里朋友的晚餐：他们每十分钟就看一次手机，看的是训练有没有爆掉，查消息倒在其次。有些尖峰会自行恢复。缓慢的尖峰会慢慢爬升，然后突然爆炸，你就得回滚好几个小时。

每个前沿实验室都会烧掉失败的训练。一次失败可能要耗掉一周到一个月，这是推进基础设施的代价。在几块 GPU 上做的小规模消融实验，最终会变成一次 YOLO 式的训练（YOLO run）：调用所有资源，选定你认为会奏效的架构，然后冲下去。Dylan 认为，OpenAI 最初对 GPT-4 的押注，比如今那些所谓失败的训练更像 YOLO：当时谷歌还不相信这种架构，公司却几乎把全部算力投进一个新的混合专家模型，持续了好几个月。就目前而言，后训练是更便宜的 YOLO 场所。这种状况不会持续下去。

DeepSeek 隶属于幻方量化（High-Flyer），这是一家早已大规模使用 GPU 的量化交易公司。2021 年，也就是出口管制之前，它声称拥有一个 1 万块 A100 的集群，当时是中国最大的。CEO 梁文锋持有公司略多于一半的股份，在经翻译的访谈中，他的口吻像是一个希望中国引领开放 AI 生态、并不打算转向闭源的人。V3 的论文只把 2000 块 H800 归于预训练，不包括 R1、指令强化学习或研究。Dylan 说，公认的做法是，实验所用的算力是最终训练的两到四倍。SemiAnalysis 的估计更接近 5 万块 GPU，并与基金共享。Meta 训练 Llama 3 用了 1.6 万块 H100，同时全公司采购的 GPU 规模在 40 万块左右。

H800 保持了 H100 级别的 FLOPS，却削减了互连，而这正是 DeepSeek 学会绕开的那个维度。美国取消了对互连的限制，只监管 FLOPS 之后，英伟达推出了 H20：纸面 FLOPS 约为 H100 的三分之一，实际表现接近一半到六成，但显存带宽和容量更大。去年英伟达向中国发货约 100 万块 H20，约占 GPU 出货量的五分之一，之后又取消了剩余的 H20 和 B20 订单，Dylan 认为这是在预期更严格的禁令。他主张，在吃显存的推理任务上，H20 比 H100 是更好的芯片。

Dario Amodei 支持管制的理由是：2026 年左右的超强 AI 会赋予军事优势，因此民主国家应当保留最密集的算力。Nathan 的较窄版本更容易站得住：你无法阻止中国用几千块 GPU 训练专注型模型，但可以限制 AI 的服务规模。Dylan 补充说，训练模型本身几乎没有什么作用；真正把一个检查点变成增长或武器的，是推理规模上的落地。Nathan 把语言模型视作已经是一种通用人工智能（AGI），并把 CEO 们的时间表往后推几年，落在 2030 年左右。Dylan 预计能力门槛会在 2027 或 2028 年出现，之后还有很长一段间隔，直到成本、电力和芯片让这种能力真正渗透进经济。

如果你不相信 AI 会在五到十年内改变社会，Dylan 认为出口管制会保证中国获胜。管制让美国芯片公司失去一个增长市场，而中国有更多的 STEM 毕业生、更多的发电厂，钢铁和铝业的规模也远超美国工业。满负荷建成的 Stargate 大约是 2 吉瓦，仍比中国最大的工业基地要小。如果你相信时间表很短，那么算力就是唯一的杠杆，因为人才本来就双向流动，而中国浇筑混凝土的速度比美国批准变电站的速度要快。DeepSeek 刚见过中国的二号人物，还没有见到习近平，一万亿元人民币、约合 1600 亿美元的 AI 补贴就落了地。Lex 不知道这是不是冷战的开端。Dylan 担心的是，把中国挡在领先芯片之外，会提高它做出“谁都不该拥有这些芯片”这一决定的概率，而台湾就夹在中间。

如今世界上大部分前沿芯片都通过台积电的代工模式生产：它自己不设计，却为英伟达、苹果、高通，以及越来越多的其他公司制造。一座能够盈利的前沿芯片工厂，成本超过 300 亿到 400 亿美元，而这只是起步的门槛。二三十年前，几十家公司都在自己造先进芯片；随着芯片工厂成本复利式增长，它们陆续退出。AMD 曾几乎破产，把芯片工厂卖给了 Mubadala，后者组建了 GlobalFoundries（格芯）。就连英特尔最新的 PC 处理器也采用台积电的工艺。Dylan 指出，英伟达是代工时代诞生的、规模达十亿美元级的唯一一家半导体公司。

台湾的故事既有文化因素，也有经济因素。台湾大学的顶尖毕业生去台积电，起薪约 7 万到 8 万美元，而他们在美国的同学则追逐谷歌或 OpenAI 那种数十万美元的薪水。地震来袭时，台积电不用把人叫回来：停车场很快会被车填满，芯片工厂的运作就像一个蚁群。张忠谋在被跳过、没能当上 CEO 之后离开了德州仪器，并建造了那台机器。美国曾经做过这件事。英特尔率先把应变硅、高 K 金属栅和 FinFET 推向市场。Dylan 的诊断是，坏掉的是文化，仍留在希尔斯伯勒的博士们并没有问题。

大批量制造可以转移，前沿研发却不能。Dylan 点出了全球仅有的三个做这件事的地方：台湾新竹、俄勒冈州的希尔斯伯勒，以及韩国的平泽。台积电在亚利桑那的基地持有其 5 纳米产能的约 20%，但仍然依赖新竹。“如果我手里有几枚导弹，”他说，“我会瞄准那些研究中心，不会去瞄准白宫。”让美国完全实现本土化制造，需要十年和一万亿美元。《芯片法案》约为 500 亿美元，分几年拨付；Dylan 估计中国的半导体补贴每年接近 2000 亿美元。出口管制放缓了中国的 5 纳米工作，但他认为，它加速了中国在落后制程的模拟芯片和功率芯片上的发展，那些不起眼的部件，就藏在汽车和冰箱里。

Dylan 说，AI 芯片有三个轴：FLOPS、显存带宽与容量，以及互连。预训练是 FLOPS 的游戏，推理则是内存的游戏。注意力会建立 KV 缓存，即对之前词元的压缩记录，必须在整个生成过程中留在 GPU 显存里。对长提示做预填充（prefill）是并行的，成本相对较低。解码则是自回归的：每生成一个新词元，都要重新读取模型和不断增长的缓存。推理模型会输出数万个输出 token，所以缓存会一直常驻，而一台 8 卡 H100 机器能够批处理的用户数会急剧下降。这就是为什么显存更大的 H200 在 R1 之后几乎售罄，也是为什么 H20 在这类任务上能胜过 H100。

R1 的 API 大约是每百万输出 token 2 美元，而 o1 是 60 美元，差距约为 27 倍。Dylan 把它拆开来看。OpenAI 的推理毛利率超过 75%，相当于 4 到 5 倍的定价系数，公司因为先发而得以这样定价，尽管训练环节仍让公司整体亏损。Together、Fireworks 及类似的托管商，以 DeepSeek 价格的 5 到 7 倍提供同样开放的 R1 权重，依然有利可图。剩下的差距是实打实的系统工程：MLA、稀疏混合专家，以及从未开源、很可能可以迁移到服务端的训练内核。DeepSeek 自己的应用依然无法满足需求。注册时常冻结，吞吐量慢得像在爬。即便按照 SemiAnalysis 估计的 5 万块 GPU，这家实验室也不是微软加 OpenAI 的规模。

Dylan 不认为中共像支持某些其他中国实验室那样在补贴 DeepSeek。对冲基金本身就是补贴，而开源则是一种招聘工具。他也怀疑发布时机是为了做空英伟达：V3 发布在圣诞节后一天，对于一次声势浩大的发布来说，这是个糟糕的日子。DeepSeek 真正拥有的是速度。Nathan 指出，Anthropic 会花数月进行安全审查；Dario 说过，Claude 3.5 Sonnet 在训练完成后又被搁置了九到十个月，而旧金山的传闻是，Anthropic 手上已有比 o3 更强的模型，但因为原始思维链“很吓人”而不肯发布。DeepSeek 则是发布。Nathan 的不安结论是：如果美国停止开放前沿模型的权重，别的国家就会开放；即便按 100 倍的成本来算，许多实体也都够得着这个令人震惊的 500 万美元训练数字。

开放权重不会向外回传数据，但它们仍然可能携带一种世界观。Dylan 与其担心经典的后门，不如担心文化残留：模型拒绝谈论天安门广场，把台湾称作“东部省份”，或者更微妙地，因为美国的互联网文本占了上风，让英式英语显得已经绝迹。Nathan 梳理了审查可能插入的三个位置。事实几乎不可能从预训练里抹掉，除非你把它们从互联网上拿走。后训练可能会矫枉过正，比如 Llama 2 拒绝“杀死”一个 Python 进程。系统级的提示改写，即使权重没有问题，也造成了 Gemini 的图像生成惨败。基于人类反馈的强化学习仍然能提升数学和代码能力；问题在于是谁来设定偏好。

R1-Zero 是 Nathan 希望大家记住的结果。DeepSeek 拿 V3 Base，在可验证的数学和代码任务上进行强化学习，不做人类偏好微调，然后看着推理行为自己冒出来：等等，我来检查一下，这可能是个错误。完整的 R1 模型之后又加入了一些基于人类反馈的强化学习，但这种深思并不是从标注过的轨迹中照抄的，Nathan 认为，它也没有偷自 o1 隐藏的思维链。Lex 读到了 Andrej Karpathy 对模仿学习与试错学习的区分。Karpathy 写道，几乎所有令人震惊的深度学习成果都属于第二类：AlphaGo 模仿专家，AlphaZero 则抛弃了人类先验，而 R1-Zero 的回溯是一种“顿悟”（aha），人类标注员根本不知道该怎么标注它。Nathan 把它与 Rich Sutton 的苦涩教训联系起来：从长远看，可扩展的学习与搜索，胜过巧妙的人类结构。

局限在于可验证性。数学和常规编程基准几乎已被解决；前沿数学是例外。Dylan 心目中思维链的“第 37 手”（Move 37）候选，更可能出在计算机使用和机器人领域：拥有无限可检验任务的沙盒环境，从把球放进桶里，到不断注册账号直到拿到一千个赞。他认为，网络预训练最终将被这类游戏远远甩在后面。弱模型有时已经能做对小学数学；强化学习本就是为了攀爬稀疏奖励而设计的。难的是搭建这些领域。Lex 那段耗时 157 秒的 R1 示例，要求对人类给出真正新颖的洞见，是一个无法验证的近亲：模型自我辩论，然后声称人们之所以能把自私的欲望转化为合作，是因为大家集体假装金钱、法律和权利是真实存在的。

在推理的强化学习之后，DeepSeek 仍然进行了指令微调和以数学为主的 RLHF，使模型可用。这一额外阶段是一个开放的研究问题：有多少雄辩和哲学，能从可验证的训练中迁移过来？Nathan 认为，12 月发布的 Gemini 2.0 Flash Thinking 比 R1 还便宜，却几乎没人讨论，而且它更像是把推理硬塞进了一个常规技术栈，而不是 o1 那种大规模强化学习。早期的 Qwen 和 DeepSeek 轻量推理模型让人觉得“被限定在轨道上”，擅长数学和代码，其他方面几乎不行。录制期间，OpenAI 发布了 o3-mini。在后面的插入片段里，Lex 凭感觉的测试在一个新颖性提示上，把 o1 Pro 排第一，然后是 R1，再是 Gemini Flash Thinking；o3-mini-high 在哲学问题上聪明却千篇一律，但很擅长头脑风暴。他日常编程仍然更喜欢 Claude 3.5 Sonnet。

o3 在 ARC-AGI 上的结果并非来自单条思维链。OpenAI 运行了大约一千个并行样本，然后从中做选择，把准确率从约 30% 提高到 70% 到 90% 左右，每道题花费 5 到 20 美元。没有证据的话，Nathan 不愿把它叫作蒙特卡洛树搜索（Monte Carlo tree search）；它可能是多数投票、学习出来的打分器，或者更复杂的东西。这种转变依然重要。过去，模型是被训练成一次就答对的。现在，它们正被当作搜索来运行。Sam Altman 说过，每月 200 美元的 ChatGPT Pro 是亏本的，这句话说明，认真的用户能烧掉多少推理时算力。

Dylan 的成本图是一条对数坐标上的下降曲线：从 GPT-3 时代每百万 token 60 到 70 美元，降到类似智能水平下约 5 美分，几年间降幅约 1200 倍。GPT-4 发布时价格接近 60 美元，如今已经降到约 2 美元。Dylan 说，DeepSeek 没有低于 GPT-3 的趋势线，它是第一个恰好落在这条线上的实验室。英伟达的股价依然下跌了。两位嘉宾都认为，这是周末的社交恐慌与对 500 万美元数字的误读混合造成的，因为那个数字没有计入研究、薪酬、推理和后训练。杰文斯悖论立刻显现：V3 发布后，AWS 上 H100 的价格上涨，H200 消失，Nathan 也很难为一次演示租到 16 或 32 块 H100。更便宜的 token 提高了对生产它们的芯片的需求。

Dylan 的走私地图分为三层。合法的 H20：去年约 100 万块。经由新加坡、马来西亚的灰色渠道，以及搭乘头等舱运送的行李箱尺寸超微机箱：大约 20 万到 30 万块 GPU。还有一条在拜登政府的 AI 扩散规则出台之前甚至算不上走私的渠道：中国企业租用境外云。他说，字节跳动拥有超过 50 万块 GPU，是甲骨文最大的 GPU 客户、谷歌的第二大客户，正是这一点，让新加坡能占到英伟达营收的 20% 到 30%，尽管当地的数据中心长期受到暂停批准的限制。新规则限制了一个国家能采购多少 GPU，以及能向中国公司出租多大规模的集群。低于约 2000 块 GPU 的集群，或低于约 1500 块的采购，仍然会漏出去。你无法隐藏价值 100 亿美元的 GPU，但你可以藏起一次 DeepSeek 规模的训练。

OpenAI 曾告诉《金融时报》，它有证据表明 DeepSeek 用它的 API 进行了训练；OpenAI 内部也有人称 R1 是蒸馏出来的。Nathan 说，蒸馏是标准做法：从更强的模型生成补全，再训练一个较弱的模型去匹配它们。Meta 曾用 405B 作为 70B 的奖励模型。OpenAI 的服务条款禁止用其输出构建竞争者；但服务条款不是许可证，而且“竞争者”一词没有定义。Nathan 的伦理反驳指向整个行业陷入的循环：凭什么你可以在互联网上训练，而我不能用你的输出来训练？ChatGPT 的对话记录早已存在于 Reddit 上。问许多模型是谁开发了它们，它们会回答 OpenAI，包括 Ai2 的模型，除非系统提示强制它说“我是 Tulu”。在录制前后那几天，人们已经在把 DeepSeek 蒸馏进 Llama，因为稠密的 Llama 比 6000 亿参数的混合专家模型更容易服务。

Lex 问实际上发生了多少代码窃取。Nathan 说，思想会流动，因为加州的竞业限制力度很弱，实验室之间也会互挖人才；一位与百万 token 上下文相关的 Gemini 工程师加入 Meta，就是这样一种机制。国家级的间谍活动比这个行业还要古老。公司之间直接的源代码泄露则更难。Dylan 关于蜜罐的玩笑，针对的是“二三十岁的单身男性”，但它并不是论证的承重部分。承重的部分在于：只要封闭 API 的文本一旦上了公网，它就成了一个漏洞百出的训练集。

在整个云计算时代，美国数据中心只占全国用电量的几个百分点。经营传统设施的人认为，到 2030 年占到 10% 很离谱；而 Anthropic 和 OpenAI 的人则认为这个数字太低了。GPT-4 的 2 万块 A100 耗电 15 到 20 兆瓦。一个 10 万块 H100 级别的集群约为 150 兆瓦，两年间增长了近 10 倍。xAI 位于孟菲斯的基地，是一座旧的家电工厂，接在一条燃气管线上，是 Dylan 追踪到的最大的单一紧耦合集群：10 万块 H100 加 10 万块 H200，配有移动发电机、特斯拉 Megapack 电池和约 90 台集装箱式水冷机组。Meta 训练 Llama 4 所用的 GPU 规模在 12.8 万块上下，OpenAI 约为 10 万块。阿比林的 Stargate 设计目标是输入 2.2 吉瓦、芯片功耗 1.8 吉瓦，超过许多城市。Blackwell 的功耗达到 1200 瓦，高于 Hopper 的 700 瓦，并且将需要液冷。

美国的建设瓶颈是电力，而不是芯片。在弗吉尼亚等地，输电的成本已经超过发电。实验室不会让价值数百亿美元的 GPU 闲置，等着一座核电站完工，因为电力只占集群成本的不到 20%，其余大头是折旧，所以它们会上燃气轮机。训练时的功耗是有尖峰的：计算时拉满，allreduce 时 GPU 又空转。Meta 向 PyTorch 上游合入了一个算子，Dylan 把它叫作 powerplant_no_blow_up，它会让 GPU 在通信期间执行无用的计算，这样发电厂就不会看到瞬态波动。水冷不只是为了散热；把芯片贴得更近，才能做出高速互连。Dylan 说，谷歌已经用水冷为 TPU 散热，如果把爱荷华、内布拉斯加和俄亥俄的几个相隔约 30 英里、用光纤连接起来的站点合并计算，它拥有地球上最大的集群。马斯克仍然赢得了“单栋建筑”的比赛。

谷歌不卖 TPU，因为这颗芯片是搜索和 YouTube 的成本中心，谷歌的文化并不是做产品。Gemma 7B 实际上约有 80 亿参数，因为 TPU 的矩阵单元很宽，谷歌把词表也扩大到与之匹配，这就是为什么 Gemma 在 GPU 上别扭，而 Llama 在 TPU 上别扭。JAX 和 XLA 服务于 DeepMind 和搜索，而不是外部客户；英伟达的 CUDA 和 NCCL 团队则一直在服务外部用户。在 Dylan 看来，AMD 的硬件在某些方面更好，但 SemiAnalysis 之所以成了最主要的 bug 报告者之一，是因为公开的 AMD 版 PyTorch 相比少数超大规模云厂商的私有镜像，是二等公民。英特尔仍持有三个前沿研发基地之一，却正在丢掉服务器市场（输给定制 ARM 芯片）、PC 市场（输给苹果等），并在 AI 加速器竞赛中全面落后。如果三星和英特尔继续疲弱，那么世界的工艺未来就只剩下新竹一处了。

谁在赚钱？Dylan 的回答很不客气，也很具体。赚到钱的是英伟达和其他硬件厂商。微软的会计利润很好看，却把 GPU 折旧埋了起来。Meta 靠推荐系统赚钱，Llama 则不是。OpenAI 和 Anthropic 融资，是因为不得不这样做，尽管 GPT-4 级别的模型已经用几亿美元的原始训练成本赚到了数十亿美元；为了持续顺着这条降幅达 1200 倍的成本曲线前行，研究永远不会停下。ChatGPT 是 OpenAI 的品牌，而 Nathan 担心的是，大多数用户并不需要公司花数十亿美元去做下一个最好的模型，他们完全可以授权使用 Llama 5。V3 已经压垮了聊天定价。Meta 提供 405B 的服务，很可能是亏本的，而谷歌则可以借助广告免费提供同样的东西。Dylan 的观点是，聊天不是终点。推理、代码、智能体和计算机使用，才是 OpenAI 必须去的地方，否则它就完了。

缺失的产品是一种广告：它嵌在生成的答案里，却不让人觉得是骗局。Meta 懂信息流定向，谷歌懂关键词搜索，但没人知道如何在一段文字或语音回复中，放进一条可衡量、又不令人反感的推荐。Perplexity、谷歌和 Meta 都会尝试。与会的嘉宾认为，OpenAI 和 Anthropic 甚至都没有看，因为它们已经把公司押在了短期的 AGI 时间表上。Nathan 希望把“智能体”（agent）这个词留给那些在不确定条件下解决开放式任务的系统，而不是 Apple Intelligence 那种帮你整理照片和消息的东西。Dylan 的制造业类比最为深刻。一座芯片工厂有数万道工序，每道工序的良率为 99.9999%，最终仍可能只有 60%，甚至零。智能体把几十次会出错的模型调用串联起来，也是同样的道理。这就是为什么 Waymo 仍然依赖远程操作员，也是为什么一家以“智能体失败时由人类兜底”为卖点的公司，并不是一句玩笑。

软件工程是已经能赚钱的智能体领域。SWE-bench 难到需要几年编程功底，一年内从约 4% 升到了 60%。它不会达到 100%，因为六个九很难做到，但这个循环是可验证的：编译、单元测试、一次检查整个代码仓库。Dylan 预计软件成本会暴跌，而随之暴跌的，还有美国购买 Salesforce 这类 SaaS 的习惯。中国企业已经在自建内部技术栈，因为工程师更便宜；如果编程在各处都变得便宜，定制化的逻辑就会赢。老旧的工业软件仍然跑在 Windows XP 上，包括 ASML 的工具。他说，把现代模型带入航空、半导体和化工领域的人，将会站在前沿。Nathan 不认为会出现就业市场悬崖。当 Meta 推出 Stories 时，Snapchat 的指数级增长就放平了。程序员的需求可能也会如此，而计算机专业的入学人数还会多年持续上升。

Nathan 的 Tulu 3 是一个完全开放的后训练方案，基于 Llama 3.1 405B：数据、代码、指令微调、偏好微调，以及基于可验证奖励的强化学习。它的名字延续了后 ChatGPT 时代的哺乳动物命名风尚；tulu 是单峰驼与双峰驼的杂交。在 Ai2 的十项评测套件上，涵盖聊天、挑剔的指令遵循、数学、代码和安全，Tulu 3 平均约 80 分。DeepSeek-V3 在不计安全时约为 79 分，计入安全后则下降。Nathan 不愿在一个别人未必认同的安全定义下赢得排行榜。他说，下一项开源工作，是扩展验证器，并复制更多 DeepSeek 写进论文里的东西。结构性的问题在于，开源软件有反馈回路，而开源 AI 没有。发布权重、数据和代码，仍然意味着下一个人需要一个集群、一支团队，以及付出代价。在这个回路形成之前，他称这项工作“主要是一种意识形态使命”。扎克伯格把它定位为美国标准，这是一项他有理由这样定位的事业；而在动机高涨的时候，业界应当把它变现。

Stargate 的 5000 亿美元标题数字，Dylan 说，并不在银行里，资本开支的 1000 亿美元也不在。第一期位于阿比林，是 Oracle 已经在建的 2.2 吉瓦站点，曾经也提议给马斯克，但他嫌太慢，转去了孟菲斯。把 1.8 吉瓦装满接下来两代英伟达产品，需要约 500 亿美元的服务器，再加上数据中心、电力和租金，这就是 OpenAI 为第一期算出 1000 亿美元“全生命周期总成本”（TCO）的方式。OpenAI 要为合资公司投入 190 亿美元；据 Dylan 所说，它手上有上一轮的约 60 亿美元，以及 40 亿美元的债务，外界还在传言，软银在出售 Arm 之后将投入 250 亿美元。Oracle 自己会先支付最初的 50 亿到 60 亿美元服务器费用。阿联酋的 MGX 谈到 AI 方面的 1.5 万亿美元，Dylan 不知道这有多真实。“马斯克是对的，”他说，“钱并不存在。”只有当模型持续变好，钱才会到位。特朗普的作用在于许可、联邦土地、德州独立的 ERCOT 电网，以及一个上了电视的数字，它迫使其他每一家董事会都必须跟上。Dylan 不认为联邦资金在这笔交易里。

问到什么让他们感到希望，Nathan 说，一千年后人类仍会在这里：我们不擅长应对遥远的风险，但风险一旦摆到眼前，我们还算擅长应对，他也不会因为 AI 接管而睡不着觉。Dylan 的黑暗图景里没有一个主宰一切的神，只有几百、几千或几百万人通过脑机接口与 AGI 融合，形成一种放大精英的“技术法西斯”。他仍然认为，这种权力大部分会流向逐利者，从而提高供给、减少苦难。他们结束时提到的玩笑，是《美丽新世界》式的食物管和无限信息流。Dylan 愿意把那种状态称为一种幸福。Nathan 的修正更令人印象深刻：刷屏让世界维持现状。Lex 以费曼收尾：“对于一项成功的技术，现实必须优先于公共关系，因为自然是骗不了的。”