Groq 创始人 Jonathan Ross 谈 AI 算力、芯片竞争与能源

Harry Stebbings 采访 Groq 创始人兼 CEO Jonathan Ross，讨论推理芯片、模型提供商、能源和 AI 经济模型。Ross 曾参与 Google 的 TPU 工作，如今通过 Groq 销售 AI 算力。他对需求、性能和竞争对手的主张有直接商业利益，并非独立基准测试。

被问到 AI 是否存在泡沫时，Ross 更愿意观察大公司和政府的支出。他看到创造大量价值的迹象，但认为回报分布不均，并将市场比作早期石油勘探：少数成功伴随许多失败。支出本身不能证明总体利润或未来回报。

Stebbings 追问不断上升的资本支出，以及它最终是否必须产生收入。Ross 同意回报重要，但说超大规模企业也在防御性地投入，以维持自身地位。他相信总体财务回报会为正，同时承认许多个别投资可能失败；这是一项预测。

作为 AI 价值的例子，Ross 说 Groq 一个团队仅用提示词、没有人工编写代码或调试，就在四小时内将客户要求的功能投入生产。他设想未来可以在客户会议期间完成类似工作。这个例子是公司个案，对未来速度的设想则具有推测性。

他说构建有竞争力的芯片很难：Google 在 TPU 之外同时开展过多个项目，并非全部成功。大公司可能尝试多种方法以保留选择，但他不认为所有尝试都能达到现有硬件的水平。Ross 参与过 TPU 开发，如今领导一家竞争供应商。

Stebbings 问，拟议中的 Nvidia 对 OpenAI 投资及随后的芯片购买是否构成资金循环。Ross 认为部分支出流向供应商和真实基础设施，而 Stebbings 指出剩余部分仍存在循环。他们举例的百分比并非交易审计，不能证明特定交易的条款或完成情况。

Ross 预测，如果将 OpenAI 或 Anthropic 的推理容量翻倍，它们的收入可能在一个月内接近翻倍。他将速率限制和服务变慢作为供应受限的可能迹象。访谈中两家公司均未提供支持性的财务或容量数据，因此这是他的假设性预测，并非经核实的收入指引。

Stebbings 问用户是否一定需要极低延迟，指出有些人可能接受后台任务。Ross 认为更快的响应可以提高参与度，并引用消费品和互联网服务的例子。他关于转化率的数字没有在讨论中获得研究支持，而且不同任务对延迟的要求不同。

Ross 预测 OpenAI、Anthropic 和超大规模企业最终会自建芯片。他说成功不仅需要芯片设计，还需要软件和跟上模型变化。他的信心是一项预测，并非对任何公司计划或执行情况的确认。

他回忆，在 Intel 当代产品更强时，Google 曾构建基于 AMD 的服务器，并说这一选择有助于与 Intel 谈判。这个叙述说明他的观点：即使替代方案没有大规模部署，开发它仍可能带来议价价值；这是他的回忆。

Ross 将高带宽内存和封装描述为 GPU 供应的限制，并称 Nvidia 是规模异常大的 HBM 买家。他的生产数字估计及对供应商激励的讨论属于行业分析，并非已披露的供应合同或独立核实的产能数据。

在他看来，自建芯片可以让大买家更好地掌控供货，即使自建芯片的能力不及 Nvidia。芯片性能的小幅提高也可能影响更大系统的经济效益。定制硬件是否真正改善供应或成本，取决于设计和供应链。

他说大量基础设施支出流向预计使用寿命较长的数据中心，而不只是芯片设计。Stebbings 问，常用的三至五年芯片摊销期是否太长。Ross 说 Groq 使用更保守的假设，并预计频繁升级芯片；这些假设并非对所有运营商折旧政策的预测。

Ross 区分了两个决策：购买和部署芯片必须证明资本成本合理，而继续运行已安装硬件只要能覆盖运营成本就可能有意义。他提醒，更新、更便宜的硬件可能使旧硬件跌破这一门槛，长期合同也会让决策更复杂。这些是简化的经济判断，并非会计建议。

他承认，在他看来，较旧的 H100 仍在市场上创造高于运营成本的收入，他将此归因于算力稀缺。这是观察和解读，不能证明某一芯片的具体使用年限、利用率，也不能证明所有运营商都盈利。

Ross 说一位潜在客户需求相当于 Groq 总产能的五倍，Groq 和其他供应商都无法满足。他用这个个案说明，客户不仅关心速度，也关心供应。该客户及其其他选择没有经过独立核实。

他说 Groq 所提出的优势在于不同的供应链：下单约六个月后首批 LPU 就可能到达，而 GPU 需要更长时间的提前承诺。这一交付周期比较是公司主张，取决于订单规模和供应条件，并非保证。

Ross 引用“硬件彩票”概念：研究人员可能偏爱在现有硬件上运行良好的模型架构。他说，当生态系统针对现有企业的芯片设计时，后者便受益；新进入者则必须快速应对变化。这是他对竞争动态的解读。

尽管预测会出现定制芯片，Ross 仍预计 Nvidia 会继续销售 GPU，因为基础设施需求正在增长。他认为更多推理可以提高训练需求，反之亦然。这个反馈循环的强度和未来芯片需求仍不确定。

Ross 说更多推理算力可以改善一些产品，认为 AI 支出不同于传统 SaaS 成本。Stebbings 质疑效率提升是否会削弱算力与质量之间的联系。Ross 回应说更低价格可以打开价格敏感市场；两种观点都不能证明更多算力总能改善每项任务。

Ross 认为，即使市场售价更低，一些中国模型的运行成本仍高于 OpenAI 的一款开放权重模型。他区分训练成本、推理成本和售价。这是供应商的比较，没有披露相同工作负载、模型质量基准或成本方法，不应推广到所有模型。

Stebbings 问补贴是否能抵消成本劣势。Ross 预测，由于算力和能效，美国未来两到三年在向盟友供给方面会有优势，而中国可以支持本国市场。这些地缘政治和成本预测存在不确定性。

他赞成开放发布旧一代模型，以鼓励采用并降低生态系统成本。他认为品牌、分销和使用情况与模型质量同样重要。这是他的竞争策略判断，并不能证明任何提供商不论模型表现如何都能留住用户。

被问到核能是否是满足 AI 能源需求的唯一办法时，Ross 说不是：他也看好可再生能源，以及将算力部署在低价电力附近。他提议扩大挪威风电并配合水电，但他的数字只是示例性主张；访谈没有确立许可、电网、环境或土地方面的可行性。

Ross 也支持核电，认为人们的部分顾虑源于恐惧。Stebbings 质疑大型能源项目实际上能建得多快。Ross 建议采用私人和国际融资，并在能源资源附近托管数据，但这些方案取决于法规、基础设施和当地决策。

他认为各国需要同时拥有能源和算力，才能掌控自己的 AI 能力。Stebbings 担心欧洲政府行动太慢；Ross 预测，如果确实如此，将产生经济后果。他提出的数据托管安排和警告是建议与预测，并非已证明的结果。

Stebbings 问欧洲的模型主权是否能形成竞争优势。Ross 说，没有足够算力，单独掌控模型并不够，并披露 Groq 与 Mistral 的合作关系。他对该合作伙伴及其基础设施需求的看法涉及商业利益。

他预计，即使 Groq 提供更多推理芯片，Nvidia 也能卖出其制造的 GPU，因为他认为推理和训练相互促进。他说 AI 的普及让他意外，因为语言使它易于使用。这是他对市场的观点，并非对各供应商销量的已验证预测。

Ross 将模型数据、算法和算力列为相互作用的投入，并认为增加任何一项都可能改善 AI。他称算力是最可预测的调节因素，同时承认数据和合成数据存在限制。增加算力的价值取决于模型设计和工作负载。

他预测 AI 将通过降低价格、减少工作时间和创造新行业带来劳动力短缺，而非大规模失业。他以咖啡种植和供应链为可能提高效率的例子。这些是推测性的经济结果，不能证明价格、工资或就业会一致变化。

Ross 引用过去从农业向其他工作转移的经历，说明新职业如何出现。他所说的历史就业百分比没有在访谈中得到证实，这个类比也不能确立未来创造就业的速度或分布。Stebbings 指出，这一前景与大规模失业的预测不同。

被问到特朗普政府时，Ross 对其 AI 政策给出正面评价，并提到许可审批。这是企业高管的政治判断，并非对该政府政策的全面评估。

谈到 vibe coding，Ross 预测编程会像读写一样成为广泛使用的技能。他讲述一位咖啡店经营者用提示词构建库存工具，再修复员工报告问题的经历。这是个案和预测，不能证明生成的软件无需审核就能可靠运行。

Stebbings 问快速增长的 AI 公司是否需要在意低利润率。Ross 说企业最终需要覆盖成本，利润率能够在波动中提供韧性，但高利润率也可能吸引竞争者。他主张将利润率保持在足以为客户创造价值的低水平，同时保留维持企业运营的能力。

Ross 回忆一位财务岗位候选人建议提高价格，使需求与供给一致。Stebbings 认为这一建议符合经济逻辑；Ross 则认为低价能够建立客户信任并增加销量。他相信增加的供给总能找到成比例的需求，这是一项商业论点，而非已证明的需求曲线。

讨论昂贵的市场估值和科技公司价值集中时，Ross 区分了内在价值与受欢迎程度。他说私募股权公司希望获得低价 AI 算力，并将其视为价值信号。这一说法来自试图销售算力的供应商，不能独立证明那些客户的回报。

Stebbings 问领先科技公司增长放缓是否会影响更广泛的经济。Ross 同意市场可能涨过头，下行也可能伤及优秀企业，但说他无法预测未来一年是否会出现下行。长期乐观不会消除短期市场风险。

Ross 说，资金充裕可能让招聘更困难，因为有才华的工程师会创办自己的公司。Stebbings 问，这是否本身就是过热的证据。Ross 同意这是挑战，但说 AI 也可能提高团队生产率；他没有声称知道这些相互竞争的力量最终会如何发展。

他称赞 Google 的技术文化，认为 Gemini 的采用取得了进展，但批评部分面向消费者的整合尚不完善。Stebbings 认为 OpenAI 已迅速获得分销渠道。Ross 同意 Google 可能为时已晚，并认为至少 Google 和 OpenAI 会互相竞争；这些都是特定时间的主观判断。

两人指出 OpenAI 也提供编程工具。Ross 说 Groq 工程师会随着能力变化在不同工具之间切换，而企业合同可能让切换速度更慢。他们的经验没有衡量整个市场的切换成本或持久性。

被要求在假设的 OpenAI 和 Anthropic 估值之间选择时，Ross 说他愿意同时投资两者，并认为两者都被低估。他设想 AI 实验室和大型科技公司的价值会共同增长。这些是带有推测性的估值观点，并非投资建议或保证。

Ross 说成功的模型提供商自然会进入曾由客户开发的应用领域。他说 Groq 选择不建立自己的模型，以免与客户直接竞争。他承认，如果客户最终吞并 Groq 的业务，这条界限也可能是错误决定。

Ross 说 Groq 以接近 70 亿美元的估值融资 7.5 亿美元，此前计划融资规模更小。这些是融资和估值数字，不是收入、利润或已返还投资人的现金。他说融资规模本可以更大，但他考虑了股权稀释。

他说 Groq 硬件销售的利润率为正，其较新芯片上运行的热门模型利润率也为正。他说其他一些模型服务能覆盖运营成本，但资本经济效益不那么理想；他拒绝披露确切利润率。单位利润率为正不能证明全公司净盈利或现金流为正。

他说自己的目标是在保持稳定并保留必要时提价能力的同时，尽可能降低 Groq 的利润率。这是公司的定价策略，实际结果取决于利用率、运营成本和资本回收。

对于五年后的芯片市场，Ross 预测 Nvidia 仍会获得超过一半的收入，但售出的芯片数量只占少数。他给出一个示例性比例，并将差异归因于品牌和定价。市场份额和最终回报都尚不可知。

他说，如果 Nvidia 五年后价值不到 10 万亿美元，他会感到意外，并认为 Groq 也可能达到同样估值。这些来自竞争公司领导者的说法高度投机，既不是估值保证，也不是财务建议。

被问到 SRAM 成本时，Ross 同意 SRAM 的每比特成本可能显著高于 DRAM。他认为比较应由系统层面的模型复制和内存使用决定，而非只看单比特成本。他举出的数千枚芯片例子取决于架构和工作负载，访谈没有提供独立基准。

他说 Groq 运营 13 个数据中心，并在不同地点分配模型和工作负载。他描述了根据地区和容量进行不同优化的方式。运营数量及其性能影响是公司在访谈时的说法。

被问到哪里可以承担更多风险时，Ross 说 Groq 可以增加供应订单，但如果客户需要当前产能的五倍，仅仅翻倍仍可能无法争取到该客户。他在更快扩张与筹集更多资金带来的稀释之间权衡。未来订单和财务结果仍不确定。

在快问快答中，Ross 不同意 Nvidia 的软件在推理领域形成很强的锁定效应，同时承认其在训练中的重要性。他说已有 220 万开发者注册 Groq；注册人数不等同于活跃用户或付费客户。他对竞争的评价来自供应商。

Ross 说，他当时不会再创办芯片公司，因为开发和交付芯片需要多年。他介绍 Groq 的开发经历，并说公司正在转向每年推出一代产品。这些时间表和成功率是他的陈述，并非对未来芯片的保证。

他说随着业务成熟，Groq 已从保留许多选择转向聚焦较少的优先事项。他预计 AI 提供商会形成差异化，并以 Anthropic 对编程的关注以及 xAI 与社交网络的联系为例。他对其发展轨迹的预测具有主观性。

被要求比较 Google、Microsoft 和 Amazon 时，Ross 分别提出近期与长期观点，Stebbings 则质疑他对 Microsoft 与 OpenAI 关系的解读。这些是关于公司和策略的预测，并非买卖证券的建议。

Ross 最后将语言模型比作心智的望远镜：他希望它们随着时间推移揭示更多关于智能的信息。他乐观的类比表达的是个人展望，并非关于模型理解能力或社会未来的既定结论。