Jensen Huang 与 Marc Benioff 谈 AI 智能体和计算的未来

NVIDIA 首席执行官 Jensen Huang 与 Salesforce 首席执行官 Marc Benioff 在 Salesforce 的 Dreamforce 会议上讨论 AI 智能体。我对智能体充满热情，认为这是 AI 的重要发展方向。他们预测未来会有大量智能体为人们工作；这是对未来系统的设想，并不能证明所述规模的部署已经存在。

Huang 表示，计算行业长期以来提供的是工具，他设想未来行业还会通过使用这些工具的智能体提供技能。Salesforce 正在推出 Agentforce，Benioff 对此表现出兴趣。Huang 想象智能体能够理解请求、使用工具、寻找协作者，并共同完成任务。两位高管都与所讨论的技术有商业利益关系。

我自己的设想是，智能体能够创建或选择工具、测试它们、保留有用结果并相互协作。我偏好将智能体定义为具有工具、记忆以及与其他智能体协作能力的语言模型。这是我偏好的定义，而非普遍的技术要求；现有智能体在自主性、记忆和实现方式上各不相同。

Huang 认为，不要求人类标注每一个例子的学习方式，消除了一个重大瓶颈；他还讨论了利用基于语言的知识从其他模态学习。我进一步讨论数据限制，以及使用私有数据或合成数据的可能性。我声称所有公开数据都已被使用，这种说法过于绝对：数据集和训练访问条件各不相同，视频也没有提供能够证明该主张的清单。

我用 AlphaGo 说明强化学习和自我对弈，但这段历史需要更正。[DeepMind 解释](https://deepmind.google/research/alphago/)，最初的 AlphaGo 先从人类专家棋局中学习，然后通过自我对弈改进。后来的 [AlphaGo Zero](https://deepmind.google/blog/alphago-zero-starting-from-scratch/) 跳过了人类棋局记录，通过自我对弈学习；它仍然依赖人类设计的规则、算法和评估。

我描述了扩展能力的两种方式：更好地利用现有数据，包括合成数据；以及在推理时分配更多计算量。我推测 OpenAI 的 Q* 项目是否演变成 o1，或是否生成训练数据；这些联系并未由本次讨论证实。增加测试时计算量可能有助于某些任务，但会带来成本和延迟，也不能保证答案更好。

Huang 表示，AI 的进展速度远快于与摩尔定律相关的历史速度，并将加速归因于硬件和软件多个层面的变化。他的数字比较是宽泛主张，衡量指标和时间范围都很重要。我将摩尔定律描述为芯片算力每 18 个月翻倍，但它通常是对晶体管数量的观察，并不保证通用计算能力按该速度翻倍。

我对比 CPU 与 GPU 的计算方式，并说晶体管微缩实际上已经停止。这种说法过于绝对：CPU 也使用并行处理，尽管传统扩展越来越困难，芯片设计仍通过多种方式继续变化。GPU 尤其适合许多并行工作负载，但“芯片算力每六个月翻倍”的主张需要明确工作负载和测量方法，不能作为普遍规律。

Huang 还描述了一种反馈循环：AI 帮助创建软件和计算机系统。我预计编程助手以及 Cursor、Replit 等工具会降低编程门槛，可能增加软件构建者的数量。这些结果仍是预测，其规模以及对工作的影响并没有因这次采访而确定。

我进一步推测，未来系统可能生成界面或模型权重，而不是人类可读的代码。模型权重难以解释，但可解释性是一个活跃研究领域，并非已经证明不可能解决。用生成的权重替代大多数软件是一种可能的未来，而不是已确立的技术发展路径。

Huang 列出多项安全工作，包括监督微调、数据整理、护栏和对生成回答的反思。他描述模型检查回答是否安全、恰当。我将其与推理时计算和 OpenAI 的 o1 联系起来，并强调其推理潜力。反思和更长时间的推理是需要评估的方法；它们本身不能确保真实或安全。

Benioff 表示，人们应能在实际工作中理解和使用这项技术，而不是把构建智能体视为困难的科学项目。我结合他对 Microsoft Copilot 的公开批评来解读这些话，不过这种比较是我的评论，而非片段本身确立的事实。我不赞成轻视 Copilot，并看好它与工作工具集成的潜力。

Benioff 将部署智能体比作让员工入职。我觉得这个类比有用：人类同事通过培训、上下文和明确预期可以更有效地工作，智能体同样需要相关文档、指令、适当访问权限，以及保留有用上下文的方式。这个类比并不意味着智能体以与人相同的方式学习、记忆或承担责任。

Huang 回顾了重新发明计算的长期努力，以及 AI 帮助解决其他难题的可能性。我设想未来可能转向针对当前任务生成软件或界面的系统，而不只依赖预先编写的程序。这是令人兴奋的可能性，但其形式和时间表仍不确定。