黄仁勋的 Computex 2024 愿景：NIM、Blackwell 与物理 AI

Matthew Berman 介绍 NVIDIA 首席执行官黄仁勋于 2024 年 6 月在台湾 Computex 主题演讲中的重点。演讲涵盖加速计算库、Earth-2、推理微服务、数字人、Blackwell 系统、网络和机器人。演示与性能比较是 NVIDIA 当时的展示，并非对每项主张的独立验证。

黄仁勋将一段虚拟世界剪辑介绍为使用 NVIDIA Omniverse 构建的模拟。Berman 将其理解为完全实时生成；精选画面本身无法确定每个元素的制作方式或实时状态。模拟可以结合渲染、人工制作的素材和 AI，仍属于计算机生成图像。

Berman 认为 CUDA 是 NVIDIA 竞争地位的重要组成部分。黄仁勋解释说，加速计算并非只需切换编译器：算法通常需要重新设计，以便并行执行。他将 NVIDIA 的领域库描述为让开发者更容易完成这项工作的方法。

黄仁勋列举了用于深度学习的 cuDNN、面向物理的 AI 库、用于加速电信的 Aerial，以及用于计算光刻的 cuLitho。他说 TSMC 正推动 cuLitho 投入生产，以加速芯片制造的部分环节。这些是厂商在 2024 年对工具和计划采用情况的描述。

他接着介绍用于基因组学的 Parabricks、用于优化的 cuOpt，以及模拟量子系统的 cuQuantum。他还提到 cuDF 和数据处理生态的加速。他对纪录和速度的说法属于 NVIDIA 的主张，并非适用于每个问题或配置的普遍结果。

黄仁勋说，对许多领域用户而言，单独使用 CUDA 太过底层；他将专用库与其他使复杂工作更易使用的软件接口相比。在他看来，NVIDIA 对这些库的投入是支持广泛市场的核心。

Berman 将 Earth-2 介绍为构建天气和气候数字孪生的努力。黄仁勋说，目标是更好地理解气候变化和灾害风险，并展示了一段明确讨论风暴路径不确定性的预测演示。模拟是基于模型的工具，并不保证预测准确或能够防止灾害。

Berman 将黄仁勋的观点理解为从打包软件转向 AI 模型，并推测 AI 可能越来越多地构建软件。黄仁勋将生成式 AI 描述为产生代表文本、图像和其他信息的 token。他把运行这些模型的数据中心称为“AI 工厂”。

黄仁勋将 token 的类比扩展到天气、分子、车辆控制和机器人动作。他认为模型可以学习这些领域的模式并生成输出。能够生成输出本身并不能证明系统准确理解物理世界，或能在现实中可靠控制设备。

他将生产 token 的 AI 工厂与发电机产生电力相比，并预测会出现新的工业市场。黄仁勋对市场规模和工业革命的描述是他的商业愿景，而非独立测量的经济结果。

黄仁勋预测，未来的计算机会生成更多回答，仅检索必要的信息，提供面向任务的能力，而不只是工具。他认为生成的回答可能更符合上下文且更高效。这些是预测，取决于工作负载、准确性和实施方式。

黄仁勋介绍 NVIDIA NIM，即 NVIDIA Inference Microservices，作为将预训练模型与部署所需软件打包的一种方式。提供大型模型服务可能涉及跨 GPU 分配工作，以及管理吞吐量、运行时间和资源使用；他将其比作工厂运营。

他介绍了结合 CUDA、cuDNN、TensorRT、Triton、云原生扩展、监控和标准 API 的容器。NVIDIA 表示，这种打包方式简化了在受支持环境中的部署。Berman 的剪辑展示黄仁勋提供 Llama 3 NIM 供试用；模型许可证、硬件要求和企业条款仍然适用。

黄仁勋介绍数字人作为交互服务潜在界面的可能性，同时承认跨越恐怖谷的困难。视频展示设计辅助、客户服务和医疗等场景。这是宣传性演示，并不能证明临床安全性，也不能取代专业医疗建议。

数字人演示结合语音识别与合成、语言模型、面部动画以及皮肤和头发渲染。NVIDIA 的 ACE 将组件打包为 NIM 微服务；2024 年公告区分了普遍可用的云服务与 RTX PC 上的抢先体验。Berman 声称片段的每部分都是现场生成的，但剪辑本身并未独立证明这一点。

黄仁勋讨论从人工标注数据转向用大型数据集训练的模型，并预测多模态输入、模拟数据和自我对弈会推动进一步发展。他预计基于物理世界的 AI 将从视频和模拟中学习。这些方法可能有助于机器人，但不会自动解决物理可靠性或从模拟到现实的差距。

黄仁勋将 Blackwell 介绍为支持更大模型的平台。他描述了由高速链路连接的两个 GPU 芯片、Grace CPU、支持低精度计算的第二代 Transformer Engine、安全功能、NVLink 和可靠性工具。演示中展示了一块生产板；这些规格来自 NVIDIA 的 2024 年介绍。

他说 CPU 可以支持检查点保存或上下文记忆，并强调随着集群扩大，需要检测硬件故障。他还介绍了旨在加快数据处理的解压引擎。实际吞吐量和可靠性提升因配置及工作负载而异。

黄仁勋比较 NVIDIA 八年来的计算性能，声称 AI 算力提高了约一千倍。他展示了一项类似 GPT-4 训练工作负载的估计，称从 Pascal 到 Blackwell，能耗从约 1,000 吉瓦时降至 3 吉瓦时。这是厂商在特定假设下建模的比较，并非对 OpenAI 实际 GPT-4 训练能耗的测量。

在推理方面，黄仁勋称每个 token 的能耗跨代降幅更大。这些数字取决于建模的工作负载、数值精度、系统和利用率；不能推广到每个 token，也不能作为对真实 GPT-4 服务的独立估计。

黄仁勋展示了一套包含 8 块 GPU 的风冷 DGX 系统，以及模块化液冷方案。他介绍了通过第五代 NVLink 连接 72 块 Blackwell GPU，并将总带宽、算力和功耗与上一代 8 GPU 系统比较。即使软件把资源视为一个域，该机架仍是通过网络连接的多个 GPU。

他解释大型模型为何需要 GPU 之间快速通信，并介绍 NVLink 交换机和铜制互连背板。黄仁勋表示，与另一种设计相比，这种互连可以节省电力。硬件规格和节能数字属于厂商主张，取决于比较对象。

为连接机架之外的系统，NVIDIA 提供 InfiniBand 和 Spectrum-X 以太网。黄仁勋说，AI 训练流量不同于普通互联网流量，因为 GPU 会突发交换部分结果，进度可能需要等待最慢的结果到达。已有数据中心可能因为现有基础设施而更倾向于以太网。

黄仁勋指出，远程直接内存访问、拥塞控制、自适应路由和流量隔离可以改善以太网处理 AI 工作负载的能力。他举例说明较低的网络利用率如何增加大型数据中心的有效成本。他说网络实际上变得免费，是一种经济上的描述，并非字面上的零价格。

黄仁勋介绍了面向越来越大 GPU 集群的几代 Spectrum-X，并预测对更大型部署的需求。他预计 AI 交互和推理会增加推理计算需求。未来集群规模和使用模式是他在 2024 年主题演讲中的预测。

黄仁勋感谢采用 Blackwell 的合作伙伴，并表示 NVIDIA 打算按年度更新平台。他介绍了设计集成数据中心系统、同时销售模块化组件的做法，让合作伙伴构建不同配置。他说，软件向后兼容有助于生态系统延续此前的投入。

他提到 Blackwell Ultra，并首次公布未来平台代号 Rubin 和 Rubin Ultra，称这些产品正在开发。这些是 2024 年 6 月的路线图声明，并不能证明产品当时已经上市。

下一部分讨论物理 AI。黄仁勋预测，工厂机器人和日常产品需要感知世界、理解指令并规划行动。视频展示了模拟学习示例；这是一项愿景和精选演示，并非具备通用自主能力的证据。

NVIDIA 的视频介绍了模拟环境中的强化学习：机器人可以在部署前练习动作并获得反馈。视频将 Omniverse 描述为结合物理模拟、渲染和 AI 的虚拟世界平台。模拟可以减少部分成本和风险，但将能力转移到真实环境仍需要测试和验证。

演讲介绍了三种计算角色：用于训练 AI 模型的系统、在机器人上运行模型的 Jetson 计算机，以及用于模拟练习的 Omniverse。NVIDIA 表示，其软件、库和模型可以选择性使用。这种三部分架构是开发框架，并非安全部署的保证。

黄仁勋介绍工厂数字孪生，并表示 Foxconn 和其他台湾制造商正在开展相关工作。演示中的虚拟工厂结合了来自 Siemens 和 Autodesk 等工具的设施及设备数据。规划人员可以在实际改造前试验布局和摄像头位置。

Foxconn 演示还展示了使用 Isaac 技术模拟机器人操作和移动机器人感知。NVIDIA 介绍了在 Jetson 系统部署前测试物体识别、检查、轨迹和导航的过程。演示说明了一种拟议工作流，并没有提供对其效果的独立测量。

黄仁勋解释工厂虚拟环境和机器人模拟如何共享一个空间。他重点介绍与 Siemens 的集成，并列举使用 Isaac Manipulator 或 Perceptor 开展工厂搬运、物流和检查的公司。这些是已宣布的合作及预期应用，并不能证明每项集成当时都已大规模运行。

黄仁勋说，NVIDIA 的汽车技术栈计划用于未来的 Mercedes-Benz 和 Jaguar Land Rover 车队，随后转向人形机器人。他认为，人形机器人可能受益于围绕人体设计的环境和示范数据。车辆时间线和机器人采用情况是 2024 年的前瞻性表述。

黄仁勋以舞台上的人形机器人展示收尾，并预测制造商将制造会行走和滚动的计算机。Berman 表示会继续关注 NVIDIA 的进展。舞台展示呈现了硬件和公司方向，而非自主性能测试。