追踪 200 家 GPU 云的分析师，把英伟达拆成了三头龙

Sarah Guo 介绍 Dylan Patel 是 SemiAnalysis 的首席分析师。这家机构是对冲基金、芯片公司和前沿实验室真正会阅读的、关于芯片和 AI 基础设施的研究来源。接下来的对话从 OpenAI 的开放权重模型，谈到能否建造一座曼哈顿大小的数据中心，又谈到地缘政治，然后是扑克如何成为创始人的一种信号。节目资料里把 Patel 列为创始人兼 CEO，但在录音里，他是那个绝不让整数轻易过关的人。

Guo 注意到了那块三星手表。Patel 的成长经历很有硬件发烧友的味道。小时候，在爸爸买下第一台 Android 手机摩托罗拉 Droid 之后，他开始在论坛上做版主；路途中，他给它刷了机，又降低主频，拼命追求续航，最后当上了 r/android 以及相关的英伟达、英特尔子版块的版主。如今他仍然带着三星的 Ultra 手表和 Fold 折叠机，这并不是对 iMessage 的抗议，原因很实际：他能同时开着 Slack 和邮件，更关键的是，能真正用表格干活。有人引用的 GPU 采购数字和他的预测略有出入，他就当场用手机去核实。

被问到对 OpenAI 传闻中的开源模型有什么反应，Patel 的第一个反应词是 amazing（太惊人了）。他预计世界会为之震动：这是美国第一次在六到九个月，也许十二个月内拥有最好的开放权重模型。Llama 3.1 405B 是上一个这样的高峰；Mistral 曾短暂地戴过王冠；随后，中国的实验室，比如 DeepSeek、Moonshot 和阿里巴巴，占据了主导。这个新模型大概赢不了通用聊天，它更偏重推理；他对代码和工具调用很兴奋，不过没有 OpenAI 那套封闭的工具栈，工具调用会让人有些摸不着头脑。

发布方式是另一个冲击。权重先是泄露了出来，但由于架构上的一些怪异之处，开源社区依然跑不通推理。大多数实验室只是把权重一丢，让你自己去写推理服务代码。OpenAI 则是既放出权重，也放出定制内核，并与合作伙伴协作，让所有人从第一天起就拥有优化过的技术栈。这会改变推理服务商的竞争格局。DeepSeek 发布时，Together（聚集了 Tri Dao 等内核人才）和 Fireworks（有前 Meta PyTorch 团队的成员）得以在底层性能上拉开差距。如果 OpenAI 把这些优化也放出来，这些公司就得在别处找差异化。

Guo 的前提是：模型优化这一层正在变成开源商品，所以真正的竞争会转移到基础设施上。Patel 反驳说：这些优化并非全都是开放的，而且变化速度很快。英伟达在围绕 Dynamo 开源部分组件；OpenAI 也在推动更多开放。但真正费力的工作，不在单台服务器上。跨轮次缓存，缓存工具调用，像 DeepSeek 那样在大约 160 块 GPU 上做推理，单个副本就要超过 1000 万美元的硬件，然后还要在副本之间共享缓存服务器，这是一个棘手的分布式系统问题。他最终同意了 Guo 的看法：单节点优化不一定会变成商品；真正要掌握的，是编排层的抽象能力。

美国的开放模型对应用意味着什么？Patel 说，一些企业对最好的开放模型仍有顾虑，因为它们来自中国。他认为，DeepSeek、Moonshot，或者在新加坡设有团队的阿里巴巴，并不是在埋特洛伊木马；它们只是在彼此赛跑着发布。Anthropic 关于在模型中植入隐藏行为的论文，发现这种行为相当容易被检测到。他不是可解释性研究者，这只是一个凭感觉的判断。信号体现在行为上：那些拒绝自己运行中国模型的企业，会使用由中国模型支撑的服务，而且觉得没问题。它们只是不想把权重放到自己的机器上。

真正的伤害在于抬高了商品化的门槛。Kimi 可能很强，但它体量庞大，很难运行。OpenAI 的模型相对较小，因此不需要吉瓦级的庞大基础设施来提供服务，这会重创那些并非处于绝对前沿的闭源 API。SemiAnalysis 一直在构建关于 token 流动的替代数据，结果有点反直觉：人们在 API 里并没有那么频繁地使用推理模型。Anthropic 在 API 收入上已经超过了 OpenAI，而其中绝大部分用量来自写代码用的 Claude 4，而不是思考模式。OpenAI 和谷歌也呈现同样的模式。成本和延迟才是刹车。

Guo 引用了杰文斯悖论（Jevons paradox）：如果你削掉一层利润、把模型做得更小，那些原本有所克制的客户就会更多地使用推理。Patel 举的成本例子很鲜明。很长一段时间里，OpenAI 对 o1 和 o3 每个 token 收取的费用都高于 GPT-4o，尽管两者的架构基本相同，只是权重不同。更长的上下文能解释一部分，但大约四倍的单 token 价差，就不是这么回事了。他们之所以能赚取这份利润，是因为他们有这个能力。DeepSeek，随后是 Anthropic 和谷歌，把这一点商品化了。Patel 说，这次开放发布又一次会让除最前沿 API 之外的几乎所有人都受到冲击。

SemiAnalysis 每天仍能找到新的新型 GPU 云。数据库里大约有 200 家。它们都应该存在吗？显然不应该。差异化已经非常极端。有些云的利用率糟糕透顶。CoreWeave 的合约已经订满，期限长达四年、五年，甚至六年，而且常常不愿报价给初创公司，或者报出一个荒唐的价格，因为它根本不想接这单生意。部署时间、可靠性和软件水平差异很大。很多公司甚至装不上 Slurm。从投资人的角度看，几年来办公楼市场不景气，商业地产资本（债务和股权）正在涌入。那些有限合伙人（LP）能接受 10% 到 15% 的股本回报，风险投资却接受不了。Patel 认为，大约一百家这样的公司正夹在进退两难的境地里：既不再符合风险投资的标准，又无法在与 CoreWeave 和 Crusoe 的竞争中把利用率提上去。

有些已经陷入了死亡螺旋。它们借贷买了 GPU，利用率又太低，现金消耗根本覆盖不了债务偿付，于是只能以疯狂的折扣甩卖剩余的算力。Patel 称赞那些已经学会收割这些绝望交易的初创公司，同时指出，这些卖家反正迟早会破产。SemiAnalysis 对新型云和大型云的评测 ClusterMax 发现，一些新进入者在正常运行时间、可用性、可靠性、网络和安全方面，已经比亚马逊、谷歌和微软要好，因为它们没有历史包袱。不过大多数仍然更差。今天的金牌和白金级别，一年后就会成为基本门槛。

按他列出的路径，其实不多。向上攀升：Together 和 Nebius 已经在卖推理 API，《The Information》报道称 CoreWeave 出于同样的原因，试图收购 Fireworks。做得极大：Crusoe 在建吉瓦级园区，几乎没有人与之竞争。接受商业地产式的回报。或者破产。Guo 认为，这些公司存在的理由，就是蚕食超大规模云厂商的 GPU 利润，而那些利润率看上去仍然像 CPU 时代的投入资本回报率（ROIC）。Patel 的收尾是一份软件清单：PyTorch 是开源的，英伟达的大部分库是开源的，模型是开源的，vLLM 和 SGLang 也是开源的。如果你只是在出租 GPU，那就没有交付终端用户真正在用的软件，因此也不配拿亚马逊和谷歌那样的利润率。Guo 同意，这样的软件“可以”存在，只是大厂一直没有交付。初创公司仍会在基础设施上留着多名工程师，好让某个随便什么 AI SaaS 不会宕机八个小时。

这个价值数万亿美元的问题是：要挑战英伟达，需要什么？Patel 的简短回答是：三头龙。第一个头是硬件工程，他们在 GPU 上确实非常强。第二个头是网络，那里有成千上万的人。第三个头是软件：他只愿意说 CUDA“还行”，但其他人都很糟糕，二十多年积累的库即便驱动安装很痛苦，依然重要。超大规模云厂商玩的是另一种游戏。谷歌的 TPU、亚马逊的 Trainium、Meta 的 MTIA 都没什么疯狂的地方。眯着眼看，Blackwell、TPU 的内存层级和脉动阵列的尺寸正在趋同。对于一家以规模和利润取胜的玩家，这没问题。但芯片初创公司必须有独特之处，而独特往往意味着在其他每个维度上都更弱。

把惩罚叠加起来：错过最新的工艺节点，成本、性能和功耗都会损失 20% 到 30%。内存慢一年，又得再融一轮资。网络出错，又是一轮。你那独特的一招，不能只快 2 到 4 倍，它必须快得多。而一次浮点运算就是一次浮点运算，在标准的冯·诺依曼架构里，并没有藏着 10 倍的性能。英伟达在内存控制器和 HBM 上大约有 50 人，在网络上则有数千人。把 5 倍的优势稀释到 2 倍，再失误六个月，英伟达的下一代芯片就出来了。即便是亚马逊，其 Trainium 机架的设计已经相对保守，它也把 AWS 的失误归咎于机架集成的良率。硬件的时间尺度很长，很多事情都可能出错。

更深的陷阱在于，硬件和模型必须共同演化，而没有人知道两年后的模型会是什么样子，连 Greg Brockman 也不知道。微软的芯片项目吃力，是因为公司并不真正懂模型；Meta 的芯片之所以适用于推荐场景，是因为它们做了协同设计；谷歌擅长协同设计；AMD 的硬件还可以，但在网络和软件上失分。第一批初创公司，包括 Cerebras、Groq、SambaNova 和 Graphcore，都更加押注片上内存，而减少对片外带宽的依赖。英伟达的片上内存从 A100 到 Blackwell 大约只增长了 30%；这些公司的片上内存却大约是它的 10 倍，然后模型就超出了芯片的承载能力。如今反向的押注正在出现：为稠密的 Llama-70B 矩阵乘法量身定制的巨型计算单元，恰好碰上模型转向了稀疏的混合专家（MoE）架构，隐藏维度很小，就像 DeepSeek 那样。Patel 说，至少有两家他不愿点名的公司正在这么做。Edge 曾有 40 到 50 家 AI 芯片初创公司，最后赢的是高通和英特尔的产品。他的次选，是 AMD 的 GPU、亚马逊的 Trainium，或者谷歌的 TPU（主要供内部使用），而不是某家硬件创业公司。他仍然希望有人成功，因为英伟达的利润每多一个点，就意味着有一部分 AI 无法被部署。

把视野放大到数据中心的规模，人们总想找一个反派。Patel 说，如果你解决了一个约束，就会得到另外 20% 的产出，然后撞上下一堵墙。A 公司的瓶颈，不是 B 公司的瓶颈。他反转了 Noah Smith 提出的衰退问题：没有 AI 基础设施的建设，他不确定美国经济今年能增长多少。电工的工资飙升。使用寿命 15 到 30 年的电力设备正被装进去。那些资本开支本身，就是增长。

想象一座曼哈顿大小的设施，拓扑结构在变化，硬件是全新的，故障率是真实的，网络高度密集。2023 年的故事很简单：因为 CoWoS（chip-on-wafer-on-substrate）和 HBM，英伟达造不出足够的芯片。后来问题变成了数据中心；再后来是变电站设备和变压器；再之后是发电。旧的约束并没有消失。CoWoS、HBM 和光学收发器依然紧张，电力和建筑也是。Meta 把 GPU 放在帐篷里，因为盖楼太慢，也太耗人工。俄亥俄州的一处项目因为电网问题推迟了启动，于是他们考虑现场发电机，结果发现 GE 的燃气轮机要排队好几年。马斯克在海外买下一座现有工厂，迁到孟菲斯，连带接手了许可证，也接手了抗议者。

劳动力是如今各路推介最爱吹嘘的约束。创始人们告诉 Patel，他们已经把某个地区的所有承包商都订下了，因此竞争对手只能从外地把人空运过来。美国的电工并不多；数据中心相关工种的工资已经大涨。他讲到一群俄罗斯人，他们以前给 Yandex 的数据中心布线，现在因为速度奖金来到了美国。微软不再像过去那样为 OpenAI 建造 Stargate，因为那太慢了，所以它大量向 CoreWeave 租用。OpenAI 则把需求分散到甲骨文、CoreWeave、芬兰的 Nscale，以及中东的 G42，很多篮子，谁执行得好，谁就能赢。他对 xAI 的评价也是这样：它没有发布任何前沿模型，估值却高过 Anthropic，因为 Colossus 比别人建得更快，而速度本身也是把模型做到最好的一部分。职业院校的人才供给太慢，中东进口劳动力，机器人是另一条路。

Guo 问，“输出美国技术栈”究竟应该意味着什么。Patel 绕到了自己在黎巴嫩待的一周，身边有印度、中国和黎巴嫩的朋友。十二岁的女孩夸一位中国朋友的皮肤，问她喜不喜欢寿司；一听说旧金山，她们又问那里的人是不是经常在街上被枪杀。她们的世界观来自 TikTok。好莱坞过去那套输出美国形象的滤镜已经失灵；同样这群孩子对 Target 有一种古怪的热情，因为网红们发布过逛店的视频。下一代人将运行在某个人的模型之上，而模型承载着一种世界观：和 Claude 聊一聊，你就能感觉到这一点。他希望这套技术栈始终是美国的。

上届政府的扩散规则说，世界可以使用美国芯片，前提是由美国公司来运营：微软和甲骨文可以在马来西亚建设，随便什么小公司却不行。规则太复杂，也得罪了不少人。现任政府把它撕掉了，随后签下了中东的一些协议，那里的 GPU 仍然大多由美国公司运营，或者出租给 OpenAI、亚马逊和甲骨文。Patel 的价值链排序前后一以贯之：能卖服务就卖服务，然后是 token，再然后是基础设施，最后才是 GPU；不要卖造芯片的工具。在高利润的层面鼓励竞争；不要让别人拿下底层。

中国问题是一条灰色地带，而不是一句口号。旧金山常常希望一块 GPU 都不卖；然后中国就卡稀土。美国曾短暂禁止 EDA 软件，中国则表示会发运矿产，几周后禁令就解除了。一旦切断磁铁和稀土，美国的汽车工厂就会停工，数十万人闲置。华为仍然通过空壳公司拿到台积电的晶圆；韩国的内存和台湾的芯片制裁都有漏洞。Patel 的折中方案是：用一些 GPU 换稀土，但绝不交出最好的那些，而且真正执行设备和晶圆的禁令。他并不假定中国的质量能和英伟达相当。一颗在 N-2 工艺上功耗高出三倍的芯片，如果中国有四倍的电力，并且像在太阳能和电动车上那样进行补贴，仍然可能是理性的选择，用来收集提示词、数据库，以及服务的利润。比起峰值浮点运算，更应该让华盛顿睡不着觉的，正是这一点。

如果 Guo 把扎克伯格请上节目，Patel 不会问基础设施，那些他能从供应链和卫星图像里自己推断出来。他会问 Meta 自己也提出过的那个配套问题：当人们与 AI 的交谈比与其他人还多，而且界面始终通过 Reality Labs 的硬件出现在一张脸上，人类的心理会发生什么？社交信息流已经在毁坏大脑。常在线的 AI 陪伴则是另一种体制。它的负面和正面影响分别是什么？怎样才能让年轻人不被低质内容（slop）和“脑腐”侵蚀？

收尾是一个拿 Patel 自己那套“数据驱动”形象开的玩笑。他曾把 Cognition 判为 NGMI（not gonna make it，成不了）：OpenAI、Anthropic 和 xAI 只会做出更好的通用代码模型；Claude Code 在内部用起来，已经感觉比 Devin 更强。后来他去参加了一个名为 East Meets West 的聚会，亚洲的 CFO 和 CEO、东海岸的金融界、西海岸的科技界、政府人士都在场，然后他朝一张高注码的扑克桌看去。Scott Wu 正从一桌重量级人物那里赢走筹码，其中包括一家 Patel 不愿点名的中国大公司的 CEO。气氛突然变了：也许这个人敢从狮子口中夺食。Guo 给创始人的笑点是：赢下 Cognition 那场扑克局，资本或许就会跟上。Patel 承认，这是个蠢理由。他仍然没有做真正的产品尽职调查。那个信号，来自那张牌桌。