30 秒看懂
Mike Volpi 将 AI 基础设施建设与互联网时代的光纤热潮相比:即使市场调整后融资和所有权发生变化,资产仍可能保持价值。他与 a16z 的 Raghu Raghuram、Guido Appenzeller 讨论了稀缺如何影响 GPU 寿命、NVIDIA 能从 Cisco 的收购流程中学到什么,以及 AI 数据中心为何可能需要不同的网络。Volpi 预计芯片设计会更加多样,但认为当前系统需要将处理器、内存和网络作为整体设计,才能发挥最佳效果。
- 1一些所有者倒下后,光纤仍然有用Volpi 预计,即使市场调整改变所有权归属,AI 基础设施仍会有用。
- 2GPU 稀缺可能延长旧芯片的使用寿命Volpi 提到 H100 仍在使用;主持人提醒,充足的供应和能源效率可能改变这一判断。
- 3Cisco 把收购当作一个组合来管理Volpi 回忆,收购有成功、平庸和失败的案例,而可重复的整合流程为其提供了支持。
- 4供应限制和模型成本塑造基础设施市场Volpi 指出制造产能是一个约束,并预计客户在选择模型时会更加谨慎。
- 5AI 网络对流量的假设有所不同Volpi 认为,更可预测的工作负载可能使比传统分组交换更便宜的架构成为可行选择。
要点建议
- Volpi 说,基础设施是否有用和所有者能否成功是两个不同的问题;过去一些运营商倒闭后,光纤仍继续发挥作用。
- 评估 GPU 寿命时,应考虑需求、能源效率和供应,而不只是折旧假设。
- 把收购和整合作为可重复的流程,同时认识到收购组合中会有失败的案例。
- 把 AI 集群看作一个系统,其中计算、内存和网络相互制约。
- 可预测的 AI 流量可能为不同的数据中心网络架构创造机会。
按章节阅读整理后的全文
互联网热潮对 AI 资产的启示
Volpi 比较了光纤和 AI 基础设施建设。他预计有用的基础设施会在调整后继续发挥作用,但所有权可能改变。
Mike Volpi 预计,即使投资者或运营商发生变化,如今的 AI 基础设施仍将有用。这位 Cisco 前高管将 GPU 和数据中心建设与互联网泡沫破裂前的光纤热潮相比。
Raghu Raghuram 和 Guido Appenzeller 问 Volpi,20 世纪 90 年代末有哪些经验适用于今天。当时他参与领导 Cisco 的收购与战略工作。无论当时还是现在,人们都期待基础性技术催生尚不存在的产品,股权和债务资金也涌入,推动产能建设。
人们期待互联网传递文字、图像、音频、视频,支持商业和社交网络。连接与带宽需求不断增加。但随着波分复用技术让同一根光纤传输多种颜色的光,光纤容量也能大幅跃升。
Volpi 认为计算领域有所不同:他预计芯片算力的改善会比当年光纤容量的增长更为渐进。他还认为,与当时相同阶段的网络带宽相比,AI 在今天有更直接的实际用途,并以模型及基础设施提供商的收入增长为例。
互联网热潮破裂时,负债沉重的运营商破产了,但它们出资铺设的光纤换了所有者后仍然有用。Volpi 预计 AI 基础设施也会得到充分利用,但最终归谁所有,取决于建设者无法控制的经济和地缘政治条件。
他预测市场会出现调整,尤其是资产负债状况较弱的小型云服务商。但他对技术周期本身更为乐观。他把互联网建设比作创造通信能力,而当下的投资是在创造智能,其经济价值可能更高。
融资与 GPU 不确定的使用寿命
嘉宾比较融资结构,并探讨为什么旧加速器在供应紧缺时仍有价值。
主持人询问融资方式有何不同。Volpi 回忆,早期建设中来自设备供应商资产负债表的资金占比更高,而如今的支出更多依赖资本市场。他认为现在的融资结构相对更清晰,尽管仍存在企业融资和类似供应商融资的安排。
一根光纤可以使用几十年,GPU 的寿命则不那么明确。Volpi 回忆,人们曾预计 NVIDIA H100 的使用寿命约为五年,每 GPU 小时的租金约为 1.80 至 2 美元。他说,H100 的实际使用时间更长,并提到目前更高的租金。
Volpi 认为,AI 辅助的软件改进可能延长硬件寿命,从而改善这类资产的融资经济性。Appenzeller 提醒,稀缺可能是旧 GPU 保持价值的原因;如果供应变得充足,经济账就可能改变。
他们提出,每瓦电力产生的收入是一个有用指标。新芯片能用相同电力产生更多有用输出,因此一旦高效产能足够,旧 GPU 的吸引力可能下降。嘉宾表示,目前强劲需求和制造限制让旧设备仍在使用。
Cisco 的收购与整合方法
Volpi 回顾一系列收购以及用于整合的流程,并讨论这些经验对 NVIDIA 和创业公司的启示。
被问及 NVIDIA 可以从 Cisco 的收购中学到什么时,Volpi 描述了一种组合式方法。他粗略回忆,Cisco 的交易中约三分之一表现很好,三分之一平平,三分之一失败。较高的收购频率和对失败的容忍带来了几个格外成功的案例。
部分收购后来成为主要产品线。Volpi 回忆,到 2000 年前后,Cisco 大约一半的收入来自收购业务,而单笔交易相对于其市值通常较小,主要以股票支付。
开放的网络协议帮助 Cisco 整合产品:收购来的交换机可以与现有路由器通信,也能通过同一个销售团队出售。Volpi 说,这让公司能够快速行动,但他也提醒,并非每次收购都成功。
他称赞 NVIDIA 收购 Mellanox,并说处于强势地位的公司有能力做一些结果不确定的押注。主持人还讨论了 NVIDIA 对更广泛生态的投资。Volpi 怀疑,仅凭资本能否阻止一个受规模驱动的行业走向整合;其他嘉宾指出,融资也能让初创公司获得算力。
Raghuram 问 Cisco 如何整合如此多的业务。Volpi 描述了一支小型收购团队,以及一个规模更大的项目管理团队,后者负责与业务部门协调。关键在于建立可重复的流程,而不是把一项不熟悉的整合作为一次性任务交给某位高管。
随着 Cisco 规模增长,较小的收购对象可能小到无法对整体业务产生影响。Volpi 说,规模更大、历史更久的公司更难整合,因为它们有自己的文化和做事方式;在他看来,放弃整合流程或只执行一部分会带来问题。
对于考虑出售公司的创始人,Volpi 区分了三种情况:经营良好的公司可能更适合保持独立;陷入困境的公司可以通过出售获得退出机会;还有一些情况则不明确。对于中间这一类,他首先看创始人是否愿意继续,以及对企业潜力的客观评估。
他会问,企业是否有可能实现数倍增长,而不只是翻一番,以及领导者是否有精力进入下一个阶段。对于与公司合作多年的投资者来说,这些判断可能带有感情色彩。
Cisco 在交易前会持续了解潜在收购对象,包括它们的产品、增长、创始人、支持者和客户。公司会把这些信息与战略需求对照,例如是否需要增加交换或光网络业务,而不是仅仅依靠主动寻求买家的公司提出的报价。
Volpi 鼓励创业公司领导者即使不打算出售,也与大公司和竞争对手保持联系。交流可以提供市场信息,也能让未来的决策更容易。Raghuram 同意,关系网络应在急需之前建立起来。
把 AI 基础设施视为一个系统
供应限制、模型成本和系统级设计塑造了当前市场。Volpi 预计芯片设计会更加多样。
谈到基础设施时,Volpi 描述了从制造设备到 AI 应用的技术栈,以及一个受供应限制、由需求塑造的价值链。他说,目前 AI 算力需求超过供应,这赋予 NVIDIA 非同寻常的影响力。
在他的判断中,半导体制造和电力一样,是近期的核心瓶颈。他预计晶圆制造产能不会迅速改变。在需求端,他预计客户会对模型质量和成本更加挑剔,利用路由在价格不同的模型之间做选择。
Volpi 认为,当今 AI 基础设施作为一个系统来设计时效果最好:处理器、互连和网络紧密耦合。他认为 Google 的 TPU 架构是整体系统设计的一个例子,并说把不同来源的组件拼接在一起可能带来效率损失。
主持人观察到,基础设施的最小实际单元正从单个加速器转向机架甚至更大的组合。当网络成为系统不可分割的一部分时,组件选择会影响整套设施的性能。
Volpi 预计,随着模型架构和工作负载变得多样,AI 芯片的竞争也会增加。针对某种模型设计、数值精度或工作负载组合优化的芯片,未必是另一种组合的最佳选择;硬件和软件设计会相互影响。
他尤其关注三维内存架构和高密度键合,因为大量推理工作负载需要在内存与处理器之间传输大量数据。主持人也指出,将逻辑芯片与内存紧密封装会带来制造和散热难题。
光连接是另一种可能,但 Volpi 说,温度敏感性和集成问题使其在服务器内部面临挑战。对于较长距离的机架级连接,他认同光链路可能不可或缺;如果系统内部使用铜线就能满足需求,他更倾向于铜线。
从 Cisco 的下跌到新的网络架构
Volpi 回忆了市场低迷前被放大的订单和对供应商的承诺。他认为可预测的 AI 流量可能支持不同的数据中心网络。
Raghuram 问 Cisco 为何在互联网时代达到顶峰后下跌。Volpi 回忆,由于设备短缺、客户预期会被限额分配,他们订购了超过实际需要的数量。Cisco 则向供应商作出承诺,并承担金融风险以确保零部件供应。
需求走弱时,客户取消或削减了原本被放大的订单。Cisco 在需求下降的同时仍背负供应承诺。Volpi 记得有一个季度的业绩远低于预期,随后几个月股价大幅下跌。
谈到数据中心网络时,他将塑造传统分组交换架构的不均匀、难以预测的流量,与可能更持续、更可预测的 AI 训练流量作对比。推理流量可能不同,但批处理可以让部分流量更有规律。
他预计新网络架构会利用这种可预测性,而不是假设所有流量都是随机的。电路、时分技术或两者结合,可能减少部分缓冲和交换复杂度。他把这视为降低成本的设计机会,而不是已经完成的行业转型。
这一变化会挑战现有网络设备供应商,因为他们的产品围绕另一类问题构建。光、电或混合方式都有可能,但只有交换机还不够:周边硬件和用户也必须采用这一架构。
主持人讨论了 Google 的光电路交换,并对切换速度和使用场景提出不同看法。他们还问,较小的供应商能否就通用架构达成一致,因为如今领先的系统供应商各有自己的方法。任何此类标准都需要买方支持。
Volpi 为何重返投资行业
他看到一个不同寻常的系统问题,将制造、电力、硬件和软件联系在一起。
Volpi 说,他创办了一家新的风险投资基金,因为当前周期格外有趣。理解接下来会发生什么,需要跨制造、电力、芯片和软件进行系统性思考;某一层的瓶颈可能改变另一层的机会。
他说,自己原本没有预料到职业生涯中还会再次遇到技术变革与不确定性如此交织的时期。主持人表示,这场讨论还可以继续很久,随后结束了对谈。
同频道的其他文章
59:06EN → 简体中文
48:39EN → 简体中文
50:11EN → 简体中文
50:15EN → 简体中文
48:08EN → 简体中文
44:57EN → 简体中文