横跨三大洲训练的 100 亿参数模型，与每小时 1.49 美元的 H200

Nathan Labenz 找分布式训练方面的合适嘉宾已经有一段时间了。他开场抱怨的问题，不只适用于这家创业公司：一个积极的未来愿景，眼下是 AI 领域最稀缺的资源，前沿实验室的负责人也不例外。Prime Intellect 的两位创始人 Vincent Weisser 和 Johannes Hagemann 说，他们的使命是让算力和智能便宜到“无需计量”，并且人人可用。Vincent 认为，往后快进几年，最糟糕的结局是超强智能真的出现了，却只有少数国家、科技巨头和个人能用。如果做对了，同一项技术可以让每个创作者都用上智能体、更好的医疗和更好的教育；如果做错了，智能时代反而会变得更难进入。

谈到时间表，Vincent 对 Sam Altman、Dario Amodei、Demis Hassabis 和 Leopold Aschenbrenner 描绘的图景给出了很高的概率，并指出 Kurzweil 和 Bostrom 那一代人的预测，表现比外界的评价要好。超人水平的编程、数学，甚至能自主运作的软件组织，可能会比可靠的人形机器人先到来。只能做到 95% 可靠的自动驾驶汽车几乎没用，每百次就会出一次大错的投资智能体，也不能托付别人的资金。他在十年尺度上唯一当真的瓶颈，是计算不可约性（computational irreducibility），即 Stephen Wolfram 提出的观点：并非所有事情都能被模拟。治愈所有疾病，比写出大量代码难得多，尽管现实中相当大的一部分，包括生物学，出人意料地可以被近似描述。

Nathan 继续追问日常生活：如果这件事成了，还会有人上班吗？Bill Gates 会不会把根除疟疾的任务交给超级智能？Vincent 提到，有些人已经财务自由，但仍然在工作；他还提到 Nick Bostrom 的《Deep Utopia》，讨论物质问题解决之后，人该从哪里找到意义。在餐厅、剧院和育儿等领域，人力仍会有溢价，因为人们想要的是一个值得信赖的人，机器人替代不了。普通的知识工作会变成对一支免费干活的智能体大军进行筛选和指挥。最好的创始人，本来就会在每个维度上雇用比自己更聪明的人。“执行很便宜，点子价值连城”，他认为这句话恰好颠倒了今天的现实，可能催生数十亿家创业公司、电影和自主创作的作品，而人类仍然负责设定目标。

休息之后，Nathan 问他们有没有自己的 p(doom)。Vincent 认为这个概念接近一种思维病毒：他见过太多人说“20%”，只因为某位名人说过 20%，却讲不出任何因果链条。他认为，给那些无法预知、以十亿年为时间尺度的情景硬性标上精确数字，已经为一些效果适得其反的政策开了绿灯。Nathan 自己给出的区间是 5% 到 95%，或者 10% 到 90%——没人能说服他不再担心，也没人能说服他放松下来去海边度假。Vincent 更担心担忧本身带来的二阶效应，包括呼吁建立世界政府，以及出于好意却过度的监管，让人们在国家安排下像自动驾驶一样失去自主。

他明确点名的失败模式，是超级智能被少数国家和大型科技公司的实验室完全集中掌控，使人类大部分人失去发言权。他说，他了解 AGI 实验室里的一些幕后故事，这让他感到担心；他还说，一些为对齐和政策奔走的人，已经被怀有自身权力诉求的实验室拉拢。Nathan 把这种集中类比成把植物提纯成药物：叶子本身没问题，吸入 100% 的提取物才会惹上麻烦。他比较认同这样一个世界：所有人一起崛起，又彼此制衡；但在 AI 同时、全面、到处改变一切的情况下，他还看不到稳定的均衡状态。

Prime Intellect 是一家特拉华州注册的 C 型公司，设计上很像以太坊：有基金会，有资助金，完全开源，并且是一项长期的公共事业，任何人都可以分叉、改进，并在上面搭建智能体。第一步是建立全球算力市场，提供 API 和命令行工具，用户既可以要一块 H100，也可以要一千块，并找到最便宜的运行地点。第二步是分布式训练和合成数据生成的软件，让任何地方的闲置 GPU 都能加入一次能容错的训练，从而压低智能的成本。第三步是协作训练领先的开源模型，贡献者因改进这些模型而获得报酬；他们提到，其中一个目标是继续改进 DeepSeek 的 R1。第四步尚在未来，是在这个市场之上搭建一个无需许可、点对点的算力与智能协议。

一年前，H100 稀缺到付了额外费用的实验室才能优先拿到货，创业公司则要签两到三年、价值数亿美元的合同，只为锁定一千块 GPU；按需租用几乎不存在。后来产能跟上了，Blackwell 开始出货，现在你可以在 Prime Intellect 上按需租到一千块 H100，而在录制节目前的三到六个月，这还是不可能的；H200 的挂牌价是每小时 1.49 美元。Vincent 的比喻很精准：他们不囤积价值数亿美元的 GPU，所以走的是 Airbnb 的路子，酒店那套用不上。他们想做的，是建在其他市场之上的市场，供给方从超大规模云厂商、独立数据中心，到买多了 H100 的亿万富翁，再到挂出闲置预留额度的创业公司。他认为，英伟达有意让供给保持分散：谷歌和亚马逊也在做自家的竞争芯片，所以资源会流向 Lambda Labs、CoreWeave，以及其他更小、更愿意配合的云服务商，它们分布在数百个站点。

Nathan 问，这个模式处在什么位置：是围墙之内的万亿美元级数据中心，还是没有哪国政府能关掉的、类似比特币的网络。Johannes 回答说，即便是 Stargate 也不会是一个集群：未来几年受能源限制，只能建多个约 500 兆瓦的站点，建不成一个 10 吉瓦的园区；大型实验室已经在通过 40 到 100 Gbps 的私有专线，跨数据中心训练模型。INTELLECT-1 已经通过公共互联网，在欧洲和亚洲之间完成了训练。Vincent 引用物理学家 David Deutsch 的观点，认为对算力的监管，与对数学或代码的监管一样天真，也一样危险。算力会被推向马来西亚、新加坡，以及其他监管较松、电价便宜的地区。比特币也是这么走过来的：中国禁止挖矿之后，算力转移到了美国、冰岛和非洲的部分地区。

两位创始人都离开了欧洲。Vincent 认为欧盟《人工智能法案》是一记历史性的乌龙球：实际安全收益几乎为零，却成了小型创业公司的负担，而欧洲的 AI 社群“连脉搏都没有”，如今已经消失了。他把加州的 SB 1047 也归入同一类。Nathan 对法案的最终版本看法有所转变，认为它相当轻量：要求公布安全计划，接受审查。但 Vincent 仍然主张，闭源模型应当比开源模型接受更多审查，因为 API 接口是一个无法检视的黑箱。开放权重和互联网、区块链一样，可以在公众视野之下被越狱、打补丁，并接受实战检验。Nathan 的保留意见是，开放模型一旦发布，就再也收不回来；而这一集并没有真正回应这个问题。他同时提到，DeepSeek 的 R1 已经证明，中等规模的开放模型经过后训练，可以变成强得多的推理模型。

Nathan 称 Metagene-1 是他见过的最有利于防御的开源项目之一。Prime Intellect 与核酸观测站（Nucleic Acid Observatory）、SecureBio 以及伦敦大学学院（UCL）的研究人员合作，训练出一个宏基因组基础模型，用于在污水中早期发现疫情——这正是最早监测到新冠信号的同一条渠道。Vincent 说，要达到前沿水平的检测能力，大约需要两万到三万美元的算力，随着数据增长，还计划进行更多的分布式训练。他希望成倍增加的，是那类上行空间大、误用风险低的科学模型；AlphaFold 就是可以参照的范本。他认为，即便从最务实的功利主义账本来看，社会对这类模型的供给也是不足的。

Nathan 特别提到的一个设计选择，是 512 个 token 的上下文窗口，远短于任何病毒的基因组，因此模型无法输出一个完整的病原体。它可以读取一小段污水样本并标出异常——从设计上看它是“短视”的，但在一项局部任务上做到了极致。Nathan 的说法是“为全球公共产品提供单边供给”：需要检测器的人能拿到全部能力，想滥用它的人却找不到入口，因为这种限制已经内置在成果之中。Vincent 把更大的策略概括为防御的差异化加速：在下一次疫情暴发之前，就把检测、监测和疫苗准备到位，他认为新冠期间社会正缺少这些。

这条路线之后的方向包括：在城市和机场规模上做更密集的病原体监测，一个虚拟细胞基础模型，以及有人类参与其中的自主科学家。Vincent 对生物安全的判断很直接：新冠很可能是某国功能增益研究出了岔子所致，与智能系统无关；缺失的一环是抗体和防御手段。他希望开放、被广泛使用的科学系统出现，因为在他看来，通往对齐的超级智能和防疫可靠的科学，唯一现实的路径是让众多参与者在护栏之下共同推进，而不只是由某一个闭源实验室掌握。Nathan 则没那么有把握：一旦成果变成通用科学家，而不再只是 512 个 token 的检测器，“无法被滥用”这一特性还能不能保留下来。

Johannes 讲解了为什么即使在同一个集群之内，分布式训练也很难。数据并行会复制完整的模型，在不同的批次上训练，然后同步梯度，通信量最少。张量并行会切分权重，并在每一层都进行通信，因此最吃带宽。流水线并行则是在各层之间传递激活值，介于两者之间。有个陷阱很容易被忽略：梯度的大小与模型相同，所以一步 1000 亿参数的更新，每个副本就要产生 1000 亿个数字。训练还要保存优化器状态，包括全精度的参数副本、动量和方差，这也是 INTELLECT-1 单个节点的显存上限只有约 100 亿参数的原因。

他们的主力方法是 DeepMind 的 DiLoCo，即面向分布式、低通信量训练的方法。每一组 GPU 先在本地训练数百步，然后再同步。在网络上传输的是伪梯度，也就是本地训练起止时权重之间的差值，并非每一步的真实梯度；而这个差值的压缩效果出人意料地好。DeepMind 在 4 亿参数的规模上验证了这一方法；Prime Intellect 把它推到了 10 亿参数，再用 INTELLECT-1 推到 100 亿参数。由于同等配置的对照训练对小型创业公司来说太贵，他们没有做集中式的基线对照。Johannes 特别注明，这是一个经验性结果，承接本地 SGD（local SGD）和联邦学习（federated learning）的思路，并不是一条定理。

反直觉的是，DiLoCo 在训练初期效果较弱，之后才追上来。训练初期，各副本的梯度方向都差不多，合并它们几乎没有新增信息；之后，损失曲面变得更平缓，各副本之间的分歧本身就是信息。在 INTELLECT-1 中，他们把伪梯度从 32 位压到 8 位（缩小 4 倍），并且每 100 步同步一次（再缩小 100 倍），总共把通信量减少了 400 倍，足以在全球互联网链路上训练 100 亿参数的模型。仍然存在三个限制：要到千亿参数规模，还需要进一步量化；新加入的参与者至少需要一台 A100 或 H100 节点；另外，副本数量大约到 16 个时效率最高，再增加副本，它们会朝不同的方向各自过拟合，淹没汇总后的有效信号。

Nathan 希望，序列级别的混合专家（MoE）路由，或许能把科学内容和文献分开；或者发布开放模型时，直接把“病毒学家”这个专家移除。Johannes 对此并不看好。按人类学科领域划分路由，归纳偏置（inductive bias）比让 token 级别的 MoE 自己学习路由更差，而且经验表明，后者学到的路由并没有语义。DeepSeek V3 每次前向计算会激活 6710 亿参数中的约 370 亿，大约占 6%，但这并不能提供一个可解释的安全开关。Nathan 认为这一点很可惜；如果做成了，这本来会是一种优雅的办法，能同时兼顾开放权重和危险知识。

Vincent 的结论是：R1 式的推理时算力范式，几乎是阴差阳错地非常适合去中心化的场景。预训练要对每个 token 做反向传播。强化学习会采样许多次推演，只对特别好和特别差的那几次进行更新，因此通信量骤降。思维链（chain-of-thought）是可读的文本，你可以检查、编辑，并用安全检查来加载——这一点和 o1、o3 隐藏的推理过程不同——尽管模型有时会切换成中文，或者输出一些无法对应到人类推理的片段。Johannes 指出，这些推理轨迹可以在 H100 和 H200 节点上生成，甚至蒸馏出来的小模型也能帮忙生成合成数据。

DeepSeek 的 R1 论文与该团队的一贯做法不同，省略了基础设施细节：训练了多长时间、互联网络是什么样、每个问题生成了多少条结果。Johannes 引用的更广泛文献中，典型做法是：先跑数百次推演（大约 256 道题），然后做一次反向传播。每次更新可能要花几分钟的前向计算，如果推演阶段很长，就要花上几个小时。Nathan 补充说，这个比例并不固定。如果题目难到上千次才成功一次，强化学习的信号就太稀疏了。R1 和 Kimi 的论文都描述了一些算法，它们会把题目难度保持在模型仍能学习的区间内，而不必为了一次成功采样上千次。

其他广域网上的方案还包括 SWARM 并行，由 Max Ryabinin 提出，他现在在 Together AI。这种方法在广域网上做流水线并行切分，只同步最后一层的激活值。但延迟是它的致命伤：如果每一百步才做一次 all-reduce，一百毫秒算不了什么；可如果要不停地传输很小的张量，一百毫秒就足以决定一切。而且 o1 类模型的百万 token 序列，会让激活值随上下文增长而变大。Johannes 更感兴趣的，是把 AdamW 的优化器状态（包括全精度的参数副本、动量和方差）卸载到 CPU 内存中，这样一台 H100 节点就能装下一个 1000 亿参数的模型；但 6500 亿参数、DeepSeek 那种规模的模型仍然装不下。这次对话录制之后，谷歌发布了 Streaming DiLoCo，这说明他们还没有撞上墙。Anthropic 的 Jack Clark 在《Import AI》中写道，我们可能很快就会生活在一个由模型持续训练、遍布无形全球算力之海的世界里。

GPU 上的容错能力仍然很原始。在十万块芯片上训练，每隔几个小时就会有节点挂掉；许多框架会让整个任务崩溃，再从上一个检查点重新开始。Prime Intellect 开源了一个名为 Prime 的框架：当工作节点掉线时，它能让数据并行的各个 rank 保持存活，还允许节点在训练途中加入。这是他们在 INTELLECT-1 因未预料到的边界情况停机数小时之后，吃了苦头才学到的工程经验。Yi Tay 离开谷歌加入 Reka 之后写过一篇文章，描述不同 GPU 厂商的可靠性相差可达 100 倍。Johannes 预计，随着软件和硬件跟上，GPU 会逐渐变成更像 CPU 那样的通用商品。目前还没有到那一步，而全球分布式训练需要的，不只是普通的“存个检查点，然后祈祷”。

Vincent 不认为沿着这套技术栈通往 AGI，一定需要万亿参数的稠密模型。强化学习和合成数据，也许能用更少的活跃参数达到目标，而且每家前沿实验室都在尝试跨站点训练。他略带讽刺地指出，各家实验室之所以需要这样做，是为了把数据中心撒到足够多的国会选区里，好让建设项目拿到拨款。微软每年在数据中心上的投入约为 800 亿美元；OpenAI 提出过 1000 亿美元以上的承诺；他说，政府也在建设十万块乃至百万块级别的 GPU 集群，只是这些从来不会出现在博客上。TikTok 曾经把超过 60 万块它并不需要的 GPU 投放到市场上。在这样的图景里，算力会出现在电价便宜、监管宽松的地方，极端情况下，甚至会出现依靠波浪能发电的浮动站点。

Nathan 提到，英伟达的市值为 3.6 万亿美元，AMD 为 2000 亿美元，且 AMD 在过去一年里下跌了三分之一，两者相差 18 倍；他问，硬件抽象层会不会压垮这些利润率。Vincent 的看法是，两件事可以同时成立：市场正在朝万亿美元规模爆炸式增长，因此英伟达、台积电、阿斯麦和 AMD 都有可能成为历史上极有价值的公司，即便英伟达对 AI 利润几乎独占的局面逐渐消退。利润率可能被压缩，而营收会增长 10 到 100 倍。AMD 是明确的第二名，只是在软件上打了个滑。谷歌的 TPU，以及亚马逊和苹果的定制芯片，才是更严峻的长期竞争者，因为这些公司可以强制推动自家芯片的采用。专用于 Transformer 的 ASIC 目前的份额仍接近于零，但会有所增长。Prime Intellect 的软件，意在帮助整个技术栈走向商品化，直到在一个完全有效率的经济体里，回报率被压缩到接近资本成本。

他们与 Emad Mostaque 的 Intelligent Internet 项目保持着联系，调性相似，路径不同。Prime Intellect 痴迷于点对点算力，并致力于让去中心化训练真正跑起来，以小步、开源的方式持续推出成果。到目前为止，INTELLECT-1 的贡献者以实物形式提供了算力，其中包括 Hugging Face，以及 SemiAnalysis 的 Dylan Patel。他们描述的最终形态，是一项代币化、无需许可的公共事业，由一个非营利基金会治理；就像 Vitalik Buterin 关不掉以太坊一样，他也关不掉这项事业。Vincent 希望，在智能时代，人们能拥有超级智能系统中产生价值的那一部分——在他看来，这是一种比法定货币乃至比特币都更“硬”的资产——这样，超级智能就不会像互联网后来那样，被平台垄断吞没。