Jensen Huang 谈 AI 计算革命与人的专业能力

Joel Hellermark 问 Jensen Huang，是什么时候让他确信深度学习具有潜力。Huang 回忆说，2012 年 ImageNet 比赛前后，几组研究者找到 NVIDIA，希望使用刚推出的 GeForce GTX 580，并寻求用 GPU 编写深度神经网络程序的帮助。

Huang 说，当时不少人认为神经网络是一个值得怀疑的研究领域。令他印象深刻的是，这种方法竟然如此有效。他开始思考，它能够扩展到什么程度，又能解决哪些其他问题。

Huang 认为，深度神经网络的分层结构和反向传播的有效性，表明这种方法有很大的扩展空间。NVIDIA 看到，深度学习既是一种解决难以明确描述的问题的算法，也是一种开发软件的新方法。

他将模型描述为一种通用函数逼近器，能够在不同规模和维度的问题上学习。根据这一认识推演，NVIDIA 相信计算本身可能需要改变。Andrej Karpathy 后来把这种方法称为 Software 2.0。

Huang 回顾说，在几十年的传统计算之后，GPU 加速计算和深度学习重新塑造了计算机。Hellermark 回忆了 Ilya Sutskever 等人早期使用 GPU 的工作，接着询问模型架构将走向何方。

Huang 提到了 Transformer，以及研究人员将视觉、音频和文本等多种数据转化成模型可以学习的形式的能力。他预计，多模态模型将通过结合不同来源的信息来提升性能。

他举例说，假设一个视觉系统见过马，却从未见过斑马，把马的图像与黑白条纹的文字描述结合起来，或许可以帮助它在没见过斑马的情况下形成概念。在他看来，这种组合扩展了系统能够识别的范围。

不同传感器模态也可以让感知更稳健。Huang 举了摄像头、雷达和激光雷达结合使用的例子；他还提到一个更简单的情形：说“那是什么”的同时用手指向某物，意思就更清楚了。

Hellermark 问，模型能否从多模态训练数据中学习物理。Huang 认为，语言可以描述许多物理现象，就像人也许能通过文字比较推断红色是什么。但他怀疑，仅靠文字无法传达体验中的所有感觉和细微之处。

对于必须预测物理现象的系统，Huang 主张让 AI 以物理规律为基础。他将这与从人类反馈中进行强化学习相类比，提出可以利用模拟环境为机器人提供物理反馈。

Huang 将 NVIDIA Omniverse 描述为一个模拟物理规律、为具身机器人创建数字孪生的系统。模拟环境可以向机器人的模型提供反馈。他把机器人的物理基础与旨在让聊天机器人更安全的对齐工作相比较。

被问及进步是否需要重大突破，还是可以继续扩大现有架构时，Huang 说自己对相关科学了解不足，无法给出确定答案。他的直觉是，符号推理和明确表达的规则可以补充经过大量训练的模型。

他指出，人们通过语言接受了许多规则，不必每一条都靠反复试错学会。在他看来，智能可能结合规则、强化学习和经验；具体如何结合，他没有给出定论。

Hellermark 问，如果 AI 变得比人聪明得多，人还有什么角色；他还提到利用 AI 帮助研究者并行开展大量实验。Huang 承认自己不知道答案，但他把这种前景比作与某些能力已经远超自己的同事共事。

Huang 预计，智能的使用机会将扩大。他把这与农业、动力和能源的普及相比较：这些变化拓展了社会能做的事情。不过，他认为深厚的领域专长和热情仍有价值，而 AI 能帮助人们探索更多可能性。

Huang 说，在他职业生涯的大部分时间里，绝大多数人不会用 Python、C++ 或 Java 等语言编写程序。如今，借助 ChatGPT 这样的系统，人们可以用自己的语言发出指令，甚至要求系统编写软件。

Huang 希望这能帮助弥合数字鸿沟，让更多人把计算机作为创造价值的工具。他举例说，一些孩子虽然没有学过传统编程，却已经通过提示生成程序和图像。

Hellermark 问 NVIDIA 如何用 AI 制造更先进的计算硬件。Huang 说，现代芯片非常复杂，因此公司使用 AI 探索数十万种设计组合，寻找合适的取舍。

哪些取舍最重要，仍由人决定。一条关键路径可能需要优先考虑速度，而一个重复数千次的组件可能更需要关注能效。随后，AI 可以搜索各种组合和边界情况；Huang 说，Hopper 一代中的一些设计就是这样找到的。

Hellermark 问，随着模型能力增强并广泛普及，应用公司如何建立竞争壁垒。Huang 回答说，深入理解领域和客户问题的价值从未消失。

Huang 说，即使 AI 能通过律师资格考试，要把专业能力应用到特定行业，仍需了解该行业的基础、需要解决的问题以及人与人之间的关系。客户的需求往往表达得不够清楚，因此理解他们的处境既是社会问题，也是技术问题。

Huang 介绍了 AI 影响 NVIDIA 的三种方式：改善产品的制造过程、改变产品本身，以及增强公司的能力。芯片和软件设计属于第一种；对于第二种，他举出了使用 AI 推断缺失像素的图形系统。

他说，NVIDIA 在后台训练模型来预测更多像素，并分发改进后的算法。在他看来，这既改变了 GPU 生成图像的方式，也提高了效率。他还设想，AI 可以帮助员工寻找信息，从需求或供应链中发现信号。

被问到有什么反主流观点时，Huang 说，现有讨论已经涵盖了从极度乐观到极度担忧的范围。他预计，强大的技术会给经济和社会带来冲击，一些工作发生变化时，人们需要重新培训；同时，技术也会创造以前不存在的职业。

作为当时的一个例子，他提到了提示工程，并预测它可能成为一个重要领域。他还观察到，AI 系统可以帮助人们为其他 AI 系统编写提示。

Huang 欢迎有关安全的讨论，并表示投资 AI 能力的同时也应投资安全。他将其与自动驾驶汽车相比：既需要投入资源让汽车行驶，也需要投入资源确保安全。

对于语言模型，他提到了护栏、对齐、从人类反馈中进行强化学习，以及通过向量数据库提供事实以减少幻觉。他预计，围绕基础模型构建的各种 AI 技术、方法和实践，将使其成为有用的聊天机器人。