哪些新芯片正在挑战 NVIDIA 的 AI 优势

NVIDIA 从制造游戏图形芯片起家，如今为当代 AI 提供了大量算力。它的硬件、CUDA 软件生态和大型商业合作使其难以被取代。我认为，这种依赖正促使客户和国家开发替代方案。

美国的出口限制让中国实验室尤其有动力使用国产硬件，包括华为芯片。OpenAI 也在开发自己的芯片。这些项目的规模和目的各不相同，但都提供了降低对单一供应商依赖的途径。

要理解竞争，先把芯片和软件生态分开。GPU 擅长模型推理和训练中使用的高度并行计算，而 CUDA 为开发者提供了一套成熟工具。仅有硬件性能并不能自动取代这个生态。

内存容量和带宽也很重要：模型权重需要存储并快速读取。NVIDIA 销售算力和内存组合不同的显卡，我认为其定价反映了同时需要两者的客户愿意支付多少。

我比较了 RTX 5090 和 RTX PRO 6000 Blackwell。消费级显卡有 32 GB GDDR7，专业卡则有 96 GB 并支持纠错。按我看到的价格，专业卡贵得多，尽管在某些工作负载中原始算力相近；实际价格和性能会变化。

为什么不直接连接两块较便宜的 GPU，把内存合起来？想象厨师的额外冰箱在另一栋楼：容量增加了，取食材却需要时间。拆分模型可以做到，但通信带宽和工作分配方式可能成为瓶颈。

混合专家模型等技术有助于分配工作，但消费级 GPU 之间的连接不等同于一块大的高速本地内存。什么安排有用，取决于模型、互连和软件。

NVIDIA 的 DGX Spark 提供了另一种取舍：一台小电脑拥有 128 GB 统一内存和 CUDA 支持，发布时价格约为 4,000 美元。它的 LPDDR 内存带宽远低于高端独立 GPU，算力也不同。我自己使用它的体验并不愉快。

Spark 可以通过高速网络连接另一台设备，但我觉得设置过程很困难。因此，NVIDIA 的产品线相对容易让人获得更多容量或更强 GPU 算力，而同时获得高容量和高性能则要贵得多。

我重新讨论这个话题的一个原因是 Ox Alpha：这个匿名模型后来被确认是 GLM-5.3-Flash。SemiAnalysis 报道称，这项服务的大量流量由中国芯片提供。我认为一个有用的模型能够不依赖 NVIDIA 技术栈而大规模提供服务，令人印象深刻。

同一轮讨论还包括 OpenAI 的 Jalapeño 推理芯片以及它与 Cerebras 的合作。这些努力旨在提高速度、降低成本并减少对 NVIDIA 的依赖，但它们解决的问题与桌面本地运行模型不同。

Apple 也宣布了搭载 M5 Max 和 M5 Ultra 的 Mac Studio。视频展示的 Ultra 数据包括最高 512 GB 统一内存和每秒 1.2 TB 的内存带宽。CPU 和 GPU 可以共享统一内存，当模型所需容量超过消费级显卡时，这一点很有用。

Apple 声称，相对于 M1 Ultra 系统，首 token 延迟有大幅改善。这是厂商自己的比较，实际模型性能取决于工作负载、软件和配置。视频发布时，新机器尚未经过大规模独立测试。

屏幕上的比较列出：256 GB 的 M5 Ultra 配置售价 9,499 美元，以及 32 GB RTX 5090、96 GB RTX PRO 6000 和 128 GB DGX Spark。它们不是完全相同的产品：Mac 和 Spark 是完整电脑，另外两者是显卡。

Mac 的标称内存带宽远高于 Spark，更接近独立显卡，而画面中的配置还提供了更大的容量。我认为这可能成为很有吸引力的本地推理选择，但仅凭带宽无法确定端到端性能，也无法取代 CUDA 兼容性。

我预计，M5 Ultra 会让一些本地工作负载更难为购买 DGX Spark 找到理由。这是我在产品发布前的判断，并非对所有模型的实测结果。视工作负载而定，NVIDIA 显卡在原始算力或软件支持方面仍可能有优势。

SemiAnalysis 提前接触了 Jalapeño，并报告其推理结果与所测 NVIDIA、AMD 和 Google 芯片相比表现强劲。报道将其描述为与 Broadcom 共同开发、面向推理的专用芯片，并强调软硬件协同设计。比较仅针对所测模型和配置，不代表所有工作负载。

画面列出的规格包括 216 GiB HBM、700 W 功耗，以及 FP4 下 13.4 PFLOPS 的算力。同一张表还比较了多款 GPU 的 FP8 性能和内存带宽。规格表有参考价值，但精度、系统设计和测量方式的差异会让直接比较更复杂。

SemiAnalysis 表示，Jalapeño 能运行多个模型，而非仅一个 OpenAI 模型，并用其 InferenceX 测试套件进行了测试。团队还展示了芯片运行 Doom。所测推理工作负载具有一定通用性，并不意味着它已证明能直接替代所有 GPU 应用。

每兆瓦吞吐量图表很醒目。SemiAnalysis 报告称，在所考察的几乎所有场景中，Jalapeño 的每瓦性能都超过了 Blackwell，涵盖较低延迟和较高吞吐量的条件。这些结论仍受基准测试配置与功耗核算方式的限制。

报道描述，在并发数为 1 的 DeepSeek R1 测试中，使用单 token 预测达到每用户每秒超过 700 个 token；所提到的其他模型则约为 1,400 个。报告还称 GSM-8K 评估结果相当。这些是所报告配置下的测量结果，并非对所有部署的承诺。

HBM4 有助于该芯片在内存带宽上超过使用旧一代内存的产品。NVIDIA 的 Rubin 也使用 HBM4。比较系统时，硬件的可获得性和代际差异都很重要。

报道还指出一个限制：所测试的模型规模相对容易处理。仅凭这些结果，我们还不知道 Jalapeño 在最大规模模型或所有生产部署中的表现。

据报道，OpenAI 受到数据中心电力限制，因此每兆瓦 token 吞吐量尤其重要。如果电力预算固定，提高每瓦吞吐量就可能让同样的能源支持更多服务。除了芯片供应，电力正成为核心约束。

在一段 CNBC 采访中，Jim Cramer 询问 NVIDIA 首席执行官 Jensen Huang 对 OpenAI 开发竞争芯片的看法。Huang 表示，许多芯片项目会启动，也有一些会取消；他对 NVIDIA 的技术、供应链、市场地位和支持合作伙伴的能力表示有信心。

即使 NVIDIA 仍然非常赚钱，我也看到了竞争压力。我还讨论了有关 Hugging Face 收购提议的报道，认为这可能有助于支持开放 AI 开发，进而鼓励对 NVIDIA 硬件的需求。这是我对动机的解读，并不能证明收购已经完成。

Terafab 是另一项旨在扩大芯片制造的计划。我认为，这种雄心进一步说明大客户想要替代方案和更强的供应控制力。一个拟议中的晶圆厂项目，不等于已经验证的生产能力或现成的 NVIDIA 替代品。

我应该披露，我持有 AMD 股票。这次没有重点讨论 AMD，因为我认为它还有一段追赶的路，尽管它可能从竞争更充分的市场中受益。这是我作为投资者的看法，不是对其表现的预测。

我不知道这些努力最终哪些会成功。我的总体观点是，越来越多公司正尝试打造替代方案，AI 工具可能加快开发，而电力会越来越多地影响经济性。NVIDIA 的地位很强，但我不认为它的领先会永远得到保证。