Andrew Feldman 谈 AI 芯片、推理与 Nvidia 竞争

原标题Andrew Feldman on AI Chips, Inference and Competing With Nvidia

Cerebras CEO 介绍晶圆级计算,认为推理需求将增长,并讨论行业基础设施面临的限制。

AFAndrew Feldman嘉宾 · Cerebras
频道
20VC with Harry Stebbings
发布
2025年3月24日
视频
1:14:36
阅读
11 分钟
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Cerebras 联合创始人 Andrew Feldman 与 Harry Stebbings 讨论 AI 硬件架构、推理、模型进步及与 Nvidia 的竞争。他的性能比较和市场预测体现了 Cerebras 的商业利益,未在访谈中获得独立验证。

  1. 1内存瓶颈Feldman 认为生成式推理需要大量移动模型权重,并说晶圆级 SRAM 能应对这一挑战。
  2. 2性能比较他称 Cerebras 在部分推理测试中领先;访谈没有提供完整、条件匹配的独立比较。
  3. 3成本与利用率他称 GPU 利用率为 5% 至 7%,但没有说明足以推广该结论的工作负载或测量方式。
  4. 4合成数据他预测五年内训练将几乎完全使用合成数据;其有效性取决于任务和证据。
  5. 5Nvidia 预测他预测 Nvidia 五年后的市场份额为 50% 至 60%,但没有精确定义市场。
  6. 6G42 收入集中主持人提到其占收入的 87%,但没有说明期间;估计交易价值不等于已确认收入。

要点建议

  1. Feldman 认为晶圆级片上内存可以减少 AI 推理中的数据移动,但具体取舍取决于工作负载。
  2. 他说,交互式与批处理工作负载对速度、准确率和成本的侧重点不同。
  3. 他关于 GPU 利用率和基准测试的说法缺少足够的可比细节,不能普遍推广。
  4. 他预测推理需求大幅增长、算法持续变化,同时承认电力和基础设施约束。
  5. 他认为 Nvidia 作为默认选择的地位是一道竞争护城河,但预测竞争对手将获得市场份额。
  6. Cerebras 与 G42 的关系带来了规模,也使客户收入集中。
全文

按章节阅读整理后的全文

只看原始文稿
01

新的 AI 工作负载

Feldman 回忆创办 Cerebras 的过程,并将数据移动描述为硬件挑战。他的比较体现了竞争厂商的视角。

Cerebras 联合创始人兼 CEO Andrew Feldman 与 Harry Stebbings 讨论 AI 芯片、推理、模型开发以及与 Nvidia 的竞争。Cerebras 销售与之竞争的 AI 硬件,因此 Feldman 的技术比较和市场预测涉及直接商业利益。访谈没有独立验证其基准测试、成本或财务方面的说法。

Feldman 说,创始团队在 2015 年看到 AI 成为一种新的计算工作负载后,创办了 Cerebras。他们预计 AI 会给内存带宽和通信带来不同寻常的压力,从而创造设计专用机器的机会。他说自己低估了这个市场最终的规模。

他将芯片的工作描述为计算、移动和存储数据。他说,单次 AI 运算可能相对简单,但在计算单元与内存之间移动输入及中间结果很困难。Cerebras 着手减少这类移动,目标是提高速度并降低功耗;这些优势取决于工作负载和系统。

Feldman 说,从头训练和微调所需的计算工作大致相似,而生成式推理有不同的通信需求。他以一个拥有 700 亿参数、权重为 16 位的模型为例:如果每生成一个词都要移动约 140 GB 权重,就需要大量内存带宽。实际数据移动和性能取决于实现方式与模型配置。

02

晶圆级规模与性能

他解释 SRAM、晶圆级制造和良率,并讨论速度、准确率与成本分别在何时重要。

Feldman 对比了容量较大的高带宽内存和速度快但单个常规芯片上容量较小的片上 SRAM。Cerebras 利用晶圆级处理器在单个设备上放置更多 SRAM,以减少数据移动。他的比较简化了架构取舍;访谈没有提供条件匹配的独立成本、能耗或性能测试。

被问及 GPU 为何仍占主导时,他说其内存设计很适合图形处理,但对推理形成限制,并认为 Cerebras 具有优势。他承认 Nvidia 架构取得了商业成功。作为销售不同架构的竞争对手,他的笼统描述不应被视为适用于所有 GPU 或工作负载的结果。

Feldman 说,自 Cerebras 八月推出推理服务以来,在 Artificial Analysis 等机构测试的一组模型上,其速度一直最快。这是他对选定基准测试的描述,并不能证明 Cerebras 在所有模型、指标或部署场景中领先。他说,节能部分来自将更多数据保留在芯片上,但晶圆级生产会带来良率挑战。

他用硅晶圆和缺陷解释良率:传统芯片越大,出现缺陷的可能性越高,制造商可能因此丢弃芯片或将其降级出售。他说 Cerebras 用许多重复的单元构建处理器,利用冗余绕过有缺陷的单元。他称其良率与较小芯片的方案一样好或更好;访谈没有提供可比的良率数据。

Stebbings 问,速度、效率还是成本最重要。Feldman 说答案取决于任务:生成训练数据的批处理任务可能容忍延迟并优先考虑价格,而交互式搜索或聊天产品可能受到延迟影响。他举的医疗诊断例子只是关于准确率和延迟的假设,并非任何产品能安全诊断癌症的证据。

03

推理需求与基础设施

Feldman 预测增长并讨论电力、数据中心和推理成本。访谈没有验证他的利用率数字。

他把更快的推理比作宽带带来的新产品:在依靠邮寄视频的时代,这些产品难以实现。他衡量推理需求的框架是将用户数量、使用频率和每次使用的计算量相乘。他认为访谈时这三者都在增长;这是概念模型,并非实测的市场预测。

Feldman 认为,AI 在他所说的早期新奇阶段之后,到 2024 年底左右开始在日常工作流程中更有用。他预测五年后市场规模将扩大超过 100 倍,但没有精确定义市场指标。时间判断和增长估计都是他的观点,并非已经确定的结果。

他承认 AI 消耗大量电力,并说行业必须创造显著的社会价值,才能证明这种消耗合理。他认为美国的电力供应地点并不总与理想的数据中心选址相符,并批评新基础设施面临的地方障碍。这些是政策观点,并非对电网容量、成本或环境影响的完整评估。

Stebbings 提出一些新数据中心配置不足的担忧。Feldman 说质量仍有待观察,但指出包括前加密货币挖矿企业在内的经验丰富的运营商,早已在低价电力附近建设设施。他承认有经验较少的新进入者,但认为许多建设者相当专业。

他将推理成本分为数据中心的电力和空间、计算设备成本以及算法效率。他称 GPU 在推理期间通常只有 5% 至 7% 的利用率,并预计更便宜、更快的硬件、更好的设施和改进的算法会降低成本。这一利用率说法没有说明工作负载、测量方法或可比基准,不应普遍推广。

04

算法、合成数据与 DeepSeek

他预计模型和算法将发生变化,并称赞 DeepSeek 的工程工作。他提出的数据和架构时间表都是预测。

Feldman 认为算法仍有很大的改进空间,并以 OpenAI 的 o1 为例,认为增加推理计算量可以改善答案。他提到混合专家模型和稀疏性等方法,可以避免每次输入都激活模型的全部部分。这是他对可用方法的看法,并不能证明规模扩展会无限期地产生相同回报。

他预计模型会变得更快、更准确、更高效,并质疑算力、数据和算法已趋成熟的说法。被问及五年后的训练数据时,他预测将几乎全部使用合成数据。这是一项预测,访谈没有证明合成数据在所有场景中都等同于人类数据。

他用飞行模拟器作类比:训练可以反复呈现发动机故障等罕见且困难的事件,而不必大部分时间都用于平稳飞行。同样,他说合成数据可能提供难以收集的驾驶场景,例如雪中无保护转弯。这些只是潜在用途的例子,并未验证其安全性或对真实世界的覆盖。

Feldman 认为,计算更便宜、更快会让新应用成为可能,并可能增加需求。他预测行业在三到五年内对 Transformer 架构的依赖会减少,尽管他不知道什么会取而代之。他指出注意力机制成本等限制是寻找替代方案的原因;时间表仍属推测。

他称赞 DeepSeek 专注于工程实践,并说其成果表明小团队不依赖最大实验室的资源也能取得重大进展。他对团队规模和可用硬件的说法是估计,并非经过核实的清单。他也称赞公开发布模型带来的技术影响。

被问及模型蒸馏时,Feldman 说自己不认为它有错,并呼吁讨论使用受版权保护的数据时也保持一致。这是他的观点,并非针对任何模型或数据集的法律裁定。Stebbings 指出,公开发布也让其他人能够学习其创新。

05

竞争护城河与 Nvidia

双方讨论持久价值、CUDA 和市场领先地位。Feldman 预测竞争对手将获得更多份额。

谈及防御能力,Feldman 认为模型短暂领先的价值不如多年持续保持接近顶尖水平。在成熟市场,即使技术不是最强,易用性和足够好的产品也可能重要。他认为硬件难度高、资本密集,芯片和系统公司可以建立持久价值。

Feldman 说,如果客户只需少量代码改动就能切换托管服务,推理领域就不存在 CUDA 锁定。他也承认 Nvidia 作为默认市场领导者的优势,以及编译器的难度。他的主张针对所描述的例子;这并不能证明每次迁移的工程、成本或运营阻力都可以忽略。

他预测,五年后 Nvidia 仍将拥有约 50% 至 60% 的市场份额,并保有重要的训练和推理业务,继续积极竞争。他预计随着市场增长,Cerebras 和其他公司将获得份额。这里没有明确市场定义,百分比是直接竞争对手作出的预测。

他预测五年后芯片供应商的企业价值将超过模型供应商,同时承认短期估值可能反映相当大的不确定性。他认为成熟企业最终会根据盈利能力和未来增长来评估。这是市场观点,并非投资建议。

06

Cerebras 与 G42

他讨论利润率、客户集中度、供应链和上市申请。财务数字的上下文有限。

Stebbings 称 Cerebras 的现金流为正。Feldman 将其维持利润率的能力归因于技术差异化,并与毛利率为负的企业作比较。访谈没有说明期间或现金流指标,毛利率也不同于净利润或现金流。

被问及收入集中于 G42 的问题时,Feldman 说这一关系既是优势也是弱点:建立一个大型战略伙伴关系,能让组织学会如何服务其他伙伴。他说,部署、软件加固和制造增长都是从这一关系中获得的经验。这些是 CEO 的说法,并非对客户多元化的独立评估。

谈到提交上市申请的决定,Feldman 说准备成为上市公司需要预测能力、流程和问责机制。他认为一些大型企业客户更愿意与上市公司合作。申请及其理由并不能证明 IPO 已经完成,也不能保证获得客户。

讨论 G42 时,Stebbings 提到其占收入的 87%,Feldman 则说外界对已宣布交易的一些估计超过 10 亿美元。访谈没有说明收入占比的会计期间,估计交易价值也不等于已确认收入。Feldman 说扩大硬件规模需要与供应链伙伴充分准备。

Stebbings 问,Nvidia 延迟交付是否会让客户不满。Feldman 说,这种潜在不满为竞争对手创造了机会,因为拿不到设备的客户可能测试替代方案。这是竞争对手的商业判断,并非特定客户收到过时芯片的证据。

07

出口管制与中国

Feldman 描述政策取舍及公司不向中国销售的决定。他认为不应低估中国的能力。

谈到出口管制,Feldman 区分了可以定位和检查的实体硬件,与更容易传播的软件。他说限制措施可能产生意外后果,并以对中国电子设计工具的投资为例;他认为延缓其他国家的技术发展很困难。访谈没有独立核实他的说法或政策分析。

他认为现任美国政府比前任更有利于 AI,同时承认技术本身也已发生变化。被问及 Cerebras 为何选择不向中国销售时,他说自己认为拟议交易可能被用于他无法接受的目的,并提到监控和军事用途。这是他对决定及其担忧的描述,并非对特定最终用户的事实认定。

Feldman 认为不应低估中国,并提到基础设施、工程人才和产业政策。他称赞深圳等经济特区,并问美国能从包括铁路在内的基础设施建设中学到什么。这些是他的地缘政治和政策判断,而非对两国的全面比较。

08

快问快答与未来

他提出地缘政治和技术预测,反思错误,并为 Cerebras 设定愿景。

在快问快答中,他表示希望中东和平可能比许多人认为的更接近,并指出该地区以商业为重的国家发生了变化。他还预测 AI 普及率可能在一两年内接近手机普及率。两者都是个人预测,并非已确定的结果;G42 是 Cerebras 在该地区的合作伙伴。

他回忆自己曾反对联合创始人 JP 在 2016 年提出的水冷方案,后来意识到自己错了。他说,作出大量决策就必须接受错误,包括对人的误判。他将风险投资模式与 CEO 的职责作比较:前者可能由少数重大成功主导投资组合,后者则需要作出许多可靠的经营决策。

Feldman 认为,对涉及制造、供应链和大型工程团队的公司来说,创始人经验很重要,同时承认年轻创始人可能特别了解消费者市场。他还认为,靠近传感器的微型低功耗推理芯片是一个被低估的机会,尽管他本人更喜欢构建大型数据中心系统。

展望未来三到五年,他希望 Cerebras 技术能够帮助找到一种治疗方法,针对每年影响超过 100 万人的疾病,并为新应用提供动力,让美国和欧洲相当一部分人间接使用其技术。这些是抱负,并非治疗方法或上述采用水平已经实现的证据。

同频道的其他文章

23:48EN → 简体中文
20VC with Harry Stebbings· 2026年10月26日播客 · 2 人对谈Satya Nadella:AI 需要零信任架构,企业应该拥有自己的智能嘉宾 Satya Nadella · 主持 Harry StebbingsMicrosoft 首席执行官认为,在对齐研究仍未解决的情况下,强大的智能体需要安全边界;他也解释了为什么企业应保留自身使用 AI 所创造的价值。企业 AIAI security评估+2
1:13:26EN → 简体中文
20VC with Harry Stebbings· 2026年10月24日播客 · 2 人对谈Naveen Rao:能源、AI 硬件、结果验证与机器人的未来嘉宾 Naveen Rao · 主持 Harry StebbingsUnconventional AI 创始人认为,能源效率将塑造 AI 硬件;与此同时,模型生成内容的数量不断增加,也让验证变得更加重要。EnergySemiconductorsInference+2
59:41EN → 简体中文
20VC with Harry Stebbings· 2026年10月22日播客 · 3 人对谈20VC:风投基金规模、AI 估值与不断变化的软件市场嘉宾 Jason Lemkin, Rory O’Driscoll · 主持 Harry StebbingsHarry Stebbings、Jason Lemkin 和 Rory O’Driscoll 讨论风险投资集中、基础设施风险、代码审查,以及快速增长的 AI 公司估值背后的假设。Venture CapitalInvestingAI cost & performance+2
1:19:50EN → 简体中文
20VC with Harry Stebbings· 2026年10月19日播客 · 2 人对谈Sameer Dholakia:AI 投资、Bessemer 的成长策略与公司文化嘉宾 Sameer Dholakia · 主持 Harry Stebbings这位 Bessemer 合伙人解释如何为快速增长的 AI 公司估值、支持创始人并建立团队,同时讨论乐观预测背后的风险。Venture CapitalAI StrategyLeadership+2
1:03:05EN → 简体中文
20VC with Harry Stebbings· 2026年10月17日播客 · 2 人对谈Harrison Chase:如何构建可靠智能体,以及模型路由与记忆的作用嘉宾 Harrison Chase · 主持 Harry StebbingsLangChain 联合创始人解释为什么智能体仍然难以控制、领域专业知识的价值在哪里,以及他的团队如何管理编程智能体的成本。AI agentsAgent orchestration评估+2
1:17:09EN → 简体中文
20VC with Harry Stebbings· 2026年10月15日播客 · 3 人对谈20VC:按比例投资权、AI 定价与不断变化的软件市场嘉宾 Jason Lemkin, Rory O’Driscoll · 主持 Harry StebbingsHarry Stebbings、Jason Lemkin 和 Rory O’Driscoll 讨论投资人权利、模型经济性,以及软件公司和员工面临的选择。Venture CapitalAI cost & performanceRobotics+2