Satya Nadella：AI 需要零信任架构，企业应该拥有自己的智能

Satya Nadella 说，他曾相信随着 AI 模型规模扩大，对齐会自然出现。如今他不再这样认为。Harry Stebbings 在介绍 Microsoft 首席执行官时，回忆起自己 18 岁时在伦敦卧室创办 20VC：当时既没有资金，也没有人脉。他说，这次访谈对自己有着特殊意义。

Stebbings 问起 Nadella 最近提出的观点：人们应该假定模型已经遭到入侵。这是否意味着用户不能依赖模型提供商的披露？Nadella 回答，规模扩展仍在让模型变得更强，但对齐并没有自然随之而来；理解模型内部机制也仍然困难。

面对这些不确定性，Nadella 提议采用一个已有的安全理念：零信任。目标是建立工程化的环境，在智能体出现故障并造成伤害之前将其控制住。他说，如果智能体越来越强大，却仍未完全对齐，用户就需要一套独立、可靠的信任系统。

当被问到谁应当建立和管理这套系统时，Nadella 把安全架构与 AI 安全研究问题区分开来。在他看来，对齐需要嵌入模型训练过程，甚至可能从预训练阶段就开始；他怀疑仅靠强化学习能否实现对齐。相比之下，安全从业者现在就可以着手建立外部约束。

Nadella 以 Microsoft 的 Agent 365 和安全工具为例介绍这种方法：为每个智能体建立身份，记录其行为和工具调用，防止日志遭到篡改，制定策略，并监控行为是否符合策略。他也希望可信合作方能够检查模型调用和推理记录，并使用多个模型进行核查。

Stebbings 问，这样的架构今天是否已经存在。Nadella 说已经存在，并提醒人们不要把两个问题混为一谈。AI 安全可能很难、尚未完成，但这不意味着用户没有任何可用的安全措施。他主张建立外部信任系统，积极监测偏离策略的行为。

问题在于，模型的思维链本身可能并不忠实。Nadella 认为，如果提供商因为思维链不可靠而将其隐藏，反而会让检查变得更加困难。他支持标准化，并让可信合作方获得可审计的访问权限，同时也承认，可检查并不意味着记录天然可信。

Nadella 认为，对透明度的需求可能有利于开放权重模型。封闭模型目前可能更强大，但如果提供商不给可信合作伙伴足够的可见性，就可能遇到问题。Stebbings 追问，中国开放模型的突出地位是否带来了另一类安全顾虑。

Nadella 认为，未对齐的模型并不会因为出自某个国家，就自动成为该国的安全资产：它也可能伤害自己的来源国。他提到西方开放权重模型取得的进展，并说 Microsoft 的 MAI 模型将采用他所说的“授权权重”。他希望建立一种直接的软件业务，让客户能够使用并控制模型。

Stebbings 问，未来两年开放与封闭模型之间的流量和支出将如何分配。Nadella 没有给出比例。他说，答案取决于前沿能力向哪里发展，以及现有任务的能力提升何时趋于饱和：一旦问题稳定下来，便宜的模型往往就能胜任，尤其是客户可以利用自己的使用轨迹训练模型时。

对于不断提高标准的评估任务，客户可能仍愿意为前沿能力付费。Nadella 还描绘了一个由多个智能体和子智能体组成的未来，其中可能包括本地模型。他认为前沿模型始终会有市场，但大多数 token 的使用可能逐渐商品化；这既可能由开放权重模型提供，也可能由价格竞争中的廉价封闭模型提供。

Nadella 说，他自己使用 Copilot 时，会把较便宜的封闭模型与开放权重模型结合起来。Stebbings 随后提出一个相关的商业问题：企业是否应该围绕自身数据拥有专门的智能？Nadella 称，智能时代的企业将如何存在，是最核心的问题之一。

Nadella 引用 Friedrich Hayek 关于知识分散的观点：有用的知识往往是隐性的，分布在整个经济体系中，而不是集中在单一智能或单一企业里。他认为，对企业而言，AI 应该增强其积累知识的能力，而不是让知识流失。

他将由此产生的顾虑称为“反向信息悖论”。Kenneth Arrow 曾描述过出售信息时的困境：卖方一旦披露信息，价值可能随之流失。Nadella 说，现在智能的购买者也需要保护。问题不只是原始数据，还包括使用过程中产生的反馈信号；这些信号可能让提供商的模型变得更好，却没有让客户保留相应价值。

Nadella 认为，企业使用智能创造的更多剩余价值应该留在企业内部。这些知识不一定只能写进模型权重，也可以存在于上下文和评估中。他设想每家公司都维护自己的私有基准，将其作为核心知识产权，让不同模型围绕这些基准竞争。

Stebbings 怀疑，私有评估是否只属于少数走在前沿的 AI 企业。Nadella 将当前时刻与 20 世纪 80 年代末和 90 年代初相比：当时，能够使用个人电脑、电子表格和电子邮件的公司显得非常特别。他说，这些做法后来逐渐普及，“AI 原生”也可能同样变得平常。

话题转向 AI 是否会催生庞大的实施经济。Nadella 说，系统集成商一直在帮助企业采用技术，但 AI 的实施以一种独特的方式结合了业务与技术工作。它既不是传统管理咨询，也不完全等同于经典的系统集成。

他以 Unilever 为例：该公司建立了一个智能体系统，用于订单到收款和贸易索赔流程。项目最初使用前沿模型，随后在索赔处理上换成成本更低的 MAI 模型。Nadella 说，客户可以利用自己的使用轨迹训练并控制模型。前期有前置部署工程师参与，如今公司的 IT 团队已经能够自行管理系统。

这类项目首先要明确业务目标、评估方式和智能体架构。Nadella 预计，生态系统中将围绕这种组合形成一套新技能，前置部署工程也会成为更常见的实施方式。

Stebbings 问，企业是否必须拥有从芯片、模型到应用的完整技术栈。Nadella 说，这取决于行业结构。应用也可以通过路由器和决策引擎，为每项任务选择最佳模型，从多个相互竞争的开放或封闭权重模型中作出选择。

垂直整合的赢家仍有可能出现，但 Nadella 认为市场最近正朝相反方向发展。他看到芯片、芯片配套系统、模型和应用各层的竞争都在增加。他希望看到的是横向专业化：每一层都有多个赢家，用户也能把不同产品组合起来。

Stebbings 说，他低估了推理需求的深度；如果一年前就明白这一点，他会作出不同的投资决定。他问，面对可能达到 1,000 亿美元的训练项目，世界是否有足够的电力和基础设施，而能够承担这种成本的实验室只有少数几家。

Nadella 从收入端思考这个问题。训练项目是研发支出的一部分；企业只有产生足够收入，才有能力在这一规模上投入，而从根本上说，这需要其对经济增长的贡献能够支撑收入。供给端同样重要：发电、芯片制造和其他产能都需要很长时间才能建设完成。

许多供应商正在根据需求建设产能，但 Nadella 说，没有人确切知道这些产能何时上线，也不知道供需将如何平衡。企业的基本经济逻辑仍然适用：有收入、有成本，也必须有利润。在他看来，更大的问题是全球 GDP 增长率会发生什么变化。

当被问及 AI 能否显著提高经济增速时，Nadella 说他相信可以，也希望如此。他以医疗和英国国家医疗服务体系使用 Copilot 为例：在降低医疗成本的同时改善患者结果，在他看来就是有意义的经济收益。他希望找到收益显著、人员替代相对较少的应用领域。

软件开发是另一个例子。Nadella 认为，这一领域的需求弹性很大，许多组织此前甚至没有充分意识到自己积累了多少 IT 待办工作。Stebbings 接着问，财务、销售和营销等其他职能，是否也可能出现类似编程领域的能力提升。

Nadella 说，编程受益于相对容易验证的奖励信号和强化学习，而在更广泛的知识工作中做到类似验证更难。尽管如此，他仍看到联络中心、供应链和业务流程中的进展。科学和工程也可能有很大的需求弹性；他举例提到更快的芯片开发和仿真。

两人还讨论了维护排程这一优化问题。在快问快答中，Stebbings 问 Nadella 如何在频繁出差的情况下坚持锻炼。Nadella 说，他保持晨练习惯大约已有 25 年：膝盖问题让他从跑步改为坡度步行，但即使有时差，他仍尽量每天去健身房。

被问到过去一年改变了什么看法时，Nadella 再次谈到对齐。他回忆起 OpenAI 早期相信规模定律的几位人物，自己在 2018 年和 2019 年也持有同样观点。他过去预期对齐会随着规模扩大自然出现，如今则认为它可能是一个更难、性质不同的问题。

什么事情今天看似奇怪，五年后却可能很普遍？Nadella 再次提到企业专属评估，认为一家公司的特点在某种程度上可以通过它的 AI 基准体现出来。Stebbings 随后问他，未来十年最让他兴奋的是什么，并提到自己的母亲患有多发性硬化症，因此他对药物研发的潜力感到期待。

Nadella 希望，作为一种强大的通用技术，AI 能以前所未有的速度传播到不同产业和国家。他期待全球经济增长发生持久转变，让更多人受益，而不只是产生新一轮赢家和输家。他把这一愿望与父亲作为发展经济学家的工作联系起来，也希望全球南方能够获得促进经济趋同的机会。