Kevin Scott 收拢微软的 GPU 预算、押注 OpenAI，却仍没料到 ChatGPT 会火

Kevin Scott 把自己从弗吉尼亚州中部的一个农业社区，一路走到微软 CTO 的经历，称为一段他从未能够规划的、几乎不可能的旅程。他的父母都没上过大学，父亲和祖父都是建筑工人。他年少时，也就是 1980 年代初，倒是对个人电脑着迷，并且东拼西凑攒够了一台 Radio Shack Color Computer：键盘是像口香糖一样的方块按键，接在一台 13 英寸的电视机上，程序存在磁带录音机里。他一直痴迷于此，每到一个阶段，都尽量去做那个愿意让他接触的、最有意思的东西。

他最初的理想是成为计算机科学教授。他从所在的高中争取到两个名额中的一个，进入一所覆盖四五个乡村县的地区性“州长学校”（Governor's School）。那里的计算机老师 Tom Morgan 博士为他打开了一扇令他兴奋不已的大门。之后十五年，他一直从事编译器优化、体系结构和编程语言方面的研究。大约三十岁时，他开始感到幻灭。他对 Sarah Guo 和 Elad Gil 说，一位教授真正能产生的影响，是激励那些最终会做出比你更伟大事业的学生。这在他看来是最大的影响，而在 2000 年代，它恰恰是这份工作中最不被看重的部分。

他不知道下一步该做什么。学术圈的朋友纷纷加入一家叫谷歌的创业公司，而他起初看不上它，觉得那不过是一个输入关键词、只返回十条结果的盒子。后来他留意到谁在那里工作：Urs Hölzle、Jeff Dean、Alan Eustace，这些编译器领域的人，他读过他们的论文，也参加过他们的会议。他投了简历。谷歌安排了几乎公司里所有搞编译器的人组成他的面试小组，他至今仍把那天称为自己一生中最好的一次面试。当时谷歌刚在山景城之外开设了第一个办公室；他和妻子对纽约的向往超过了山景城，于是他大约成了谷歌纽约办公室的第十号员工。

新的使命是他到了谷歌之后才出现的。谷歌当时在招募很多聪明人，却几乎没有给他们分配任务，结果许多人选择了在智力上有意思、却永远无法产生实际影响的工作，也就是他当初离开学术界想要摆脱的那种影响力难题。他挑了一个不起眼的问题，用扎实的计算机科学方法把它解决了，团队还因此拿到了一个谷歌创始人奖。之后，他转做了管理，以便帮助更多工程师把工作与既有趣又有意义的事情对接起来。Guo 指出，早期的谷歌让学者负责公司的重要部分，这种做法在业界几乎再没有重演。Scott 说，如今在 OpenAI 工作，让他对早期的谷歌生出一种怀旧之情：规模相近，干劲相近，甚至又有弦理论学者被招进了计算机科学的岗位。

录制节目时，Scott 已经在微软待了六年多。他说，几乎在他加入后不久，他就很清楚地看出，AI 将对公司的未来极为重要。微软在他到来之前就已经认识到这一点。问题在于聚焦：既不缺聪明人，也不缺资金，但投入被像花生酱一样薄薄地摊在一大堆项目上。对他来说，催化剂是技术层面的：迁移学习开始奏效了。

他在 2000 年代初谷歌工作时接触的统计机器学习，是彼此孤立的。你有一个数据领域、一种模型架构、一套部署和衡量方案，而且全部局限在一个用例之内。迁移学习则意味着：用一组数据训练，然后把这个系统用于多种用途。他在 DeepMind 的强化学习工作里看到了这种迹象，即学到的能力能够在不同游戏之间迁移。真正令人兴奋的是，它开始在语言领域奏效了：先是 ELMo，接着是 BERT、RoBERTa，还有微软自家的 Turing 系列模型，以及一批相关的研究。突然之间，只要系统能够持续变好，就能想象出许多可以去构建的语言应用。

团队在寻找一种证据：这些东西会持续变好。一旦找到，他们就全力投入。这既包括与 OpenAI 的合作，也包括一个更偏内部的举措：Scott 一度把公司全部的 GPU 预算收归自己手中，并宣布这些资源不再平均分配。资金密集型的押注，只会投向那些有充分、基于证据的把握，确信增加规模真能带来回报的地方。Elad Gil 回忆起五年前的一次晚餐，那时 GPU 还没成为技术圈的热门话题，而 Scott 最紧迫的问题，就已经是当年该怎么花 GPU 预算、怎么分配机器。如今这件事并没有变得更容易。

为什么要合作，而不只是自己造？Scott 给出两个理由。第一，如果迁移学习真能成立，这些系统就会成为一个平台，它的成本可以摊到许多应用上。微软运营着超大规模的云，他认为基础设施、网络和软件框架能够服务于微软自身之外的更大抱负，这几乎关乎生死。这就意味着需要有抱负远大的外部合作伙伴，而 OpenAI 显然是业界最有野心的实验室，他说，它至今仍有着令人惊叹的目标。第二，双方都认为，模型正在演变为平台，这一愿景是共享的。目标一致并没有让合作变得轻松。他打趣说，这里有一条压力守恒定律。不过，这意味着压力是为一个共同目标服务的，而这正是艰难的合作能够维持下去的关键。

Gil 追问时间点。微软第一笔重大投资大约落在 GPT-2 前后，也就是 GPT-3 之前，那时两者之间的阶跃式跃升还不明显。Scott 不愿美化历史。公司内部对这笔交易是否明智，意见高度分歧。Satya Nadella 谈到“无悔投资”：即那些有多种获胜途径的押注，即使输了，你也能学到东西。这里最坏的情况，是在计算基础设施上投入大量资金，同时学会如何在非常大的规模上搭建 AI 训练环境。Scott 说，你得对 AI 的未来抱有某种古怪的看法，才会认为自己用不着先进的算力。

他们也掌握着一些证据，其中有些来自 OpenAI，他不便透露，表明规模化是有效的。他愿意引用的公开线索，是 OpenAI 那篇著名的算力论文：从 2012 年人们摸索出如何用 GPU 训练开始，到大约 2018 年，最先进的训练每年消耗的算力约为前一年的十倍。这让他对一件事抱有“超级超级高”的信心：他们永远不会走到“算力已经够用”的那一步。微软称之为 AI 超级计算机的第一台机器，于 2019 年启动，同年年底部署完成，并成为 GPT-3 训练所用的环境。如今，同一设计的小型版本，正在为公司内部许多人以及 Azure 上的合作伙伴提供服务。这样规模的算力集群，搭配这种网络，在以前根本无法租用。

英伟达自收购 Mellanox 以来，一直是算力和网络方面的合作伙伴。每一代系统的性价比都在提升，微软也与英伟达紧密合作，讨论下一代 GPU 需要具备什么，因为微软对模型架构的走向有着清晰的判断。录制节目时，Hopper 正在大规模部署，其中包括 8 位浮点运算等功能，两家公司已经为此规划了很长时间。

Scott 不认同开源与闭源是二选一的说法。微软仍然认为没有理由停止构建更大的模型，但它自家的产品，比如 Bing Chat、Microsoft 365 Copilot 和 GitHub Copilot，已经在使用一组模型组合，按成本和性能，以及精度和质量来搭配。他对开源领域的技术创新确实感到兴奋。最大的疑问在于，社区将如何处理负责任的 AI 与安全问题。录制前一天，他还在玩 Databricks 的 120 亿参数版 Dolly 2.0，它在单台机器上跑得很顺畅。他承认，自己依然是个书呆子，就偏爱那些能塞进一台机器里的东西。

面向企业客户，微软从一个假设出发：AI 将成为一个平台，最有用的用法是打造协助人完成工作的工具，完全自主运行的场景排在其后。第一款产品是 GitHub Copilot。你用自然语言说明希望一段代码做什么，它生成代码，然后你像审查结对编程搭档建议那样仔细检查。之后他们注意到，Copilot 的这套模式具有通用性，于是又打造了一大批类似产品。Scott 把 Copilot 的技术栈比作一张类似 OSI 模型的分层图：最上层是用户界面模式和正在兴起的插件生态；接下来是编排层，包括 LangChain 这类开源工具，以及微软自己开源的 Semantic Kernel；再往下是提示词构造，以及一份让模型符合应用要求的“元提示词”，也就是一组长期有效的固定指令；然后是检索增强生成（RAG），微软在这个缩写出现之前就已经在做了；最后是一套安全机制，在信息向下传给模型、向上返回时都要过滤，有时要来回多次，才能把回复送到用户面前。

企业还会追加一些问题：数据隐私、数据流向、哪些插件可以启用。微软会自己做一部分。社区则会做出大量相关工具，因为从来没有哪个平台是由一家公司把所有有用的部件全部端出来的。“这纯属无稽之谈。”Scott 说。就在采访前，他刚参加了一次与微软研究院的评审，看到研究人员纷纷转向以 AI 为核心的工作。这让他想起 2001 年的微软研究院：当时他在那里实习，PC 正飞速走向普及，一批聪明人只隐约瞥见了未来一角，就围绕它重新调整了一切。

最大的意外，连他自己也感到吃惊，就是 GPT-4 和 ChatGPT 所引发的催化作用有多大。他指出，ChatGPT 当时是一个十个月大的模型，上面加了一点 RLHF，界面也谈不上多好看，它本质上是在 GPT-4 发布之前，为几件事做的一次练手。没人真正料到它会一炮而红。录制时，它只上线了五个月，他说，大家总是忘了这一点。即便是坐在较好位置上的人，这种速度也让人心里发慌。他还补充说，对机器学习团队来说，这往往比对一个全新的创业者更难，因为这是一种全新的工作方式，即便是微软内部那些有时间思考的人，也仍然难以适应。

Guo 问，像微软这样产品线丰富的公司应该如何组织采用这项技术，以及他会对那些执掌其他大公司的朋友说些什么。Scott 说，有些东西变了，有些东西完全没变。许多人容易搞错的地方很简单：模型不是产品，基础设施也不是产品。你确实需要尽快弄清楚这个新平台能做什么。但这并不能省掉那件艰苦的工作：弄清楚一款好的、用到它的产品应该是什么样子。

他告诉人们，去寻找最有意思的产品，就看那些从不可能变成困难的相变点：在这项技术出现之前你根本做不到，如今只是变得困难了。从不可能变成轻而易举的东西，多半不会有意思。他举的一个略带玩笑的例子是智能手机。iPhone 于 2007 年发布，一年后才有了 App Store。最早的应用，正是那些从不可能变成轻而易举的东西：放屁声应用，还有一个会播放 Ric Flair 大吼声的“哇”按钮。那些都算不上生意。真正造就智能手机平台的，是平台构建者自己都没有想到的那些困难又不显而易见的东西。如今，你的手机之所以有意思，已经不再是因为短信、浏览器和邮件客户端，而是因为 TikTok、Instagram、WhatsApp 和 DoorDash。

这条警告同样适用于老牌公司。它们要做的，不过是往现有产品上撒一层 LLM 的“仙女粉”，然后推出一个乏味的渐进式功能。渐进式的东西也许还不错。真正有意思的东西，往往并不显而易见，而且一点也不渐进。这就是管理上的难题：整栋楼里都是聪明人，他们能看到如今一切皆有可能。挑战在于，要把他们引向那些困难、有意义、并不显而易见的工作，远离那些烧掉 GPU 算力和产品智慧的渐进式点子，而那些算力和智慧，你将来是要用在真正重要的事情上的。

Scott 2020 年出版的书《重新编程美国梦》（Reprogramming the American Dream），这本书的写作对象，并不是主持人这样的人。它的出发点，是他成长的那个世界：父亲是建筑工人，祖父也是建筑工人，外祖父修过家电，还种过地。邻居们都是聪明、有创业精神、善于动脑子的人，他们利用手边能找到的最好工具，为自己的社区创造机会、解决问题。他相信，AI 的平台愿景，也就是它会越来越便宜、越来越容易获得，对这些人同样适用。他希望读者听到的是：不要被吓倒，也不要害怕。把它接入你已经在做的事情里，或许平台带来的好处就能分配得更均匀。

他用自己的第一个项目作为衡量标尺。2003 年到 2004 年间，他在谷歌，拿着研究生学位，并具备扎实的数学功底，做出了一个机器学习分类器。那意味着要读一大摞技术论文，把《统计学习的要素》从头读到尾，再花上六个月写代码。他说，如今一个高中生在周末用四个小时就能完成整个项目。能用上这些工具的人群范围，只会越来越大。他在写作时曾担心，等书出版时内容可能已经过时。真正的问题其实更糟：这本书出版的那一周，正好赶上疫情让一切都停摆。亚马逊只能配送必需品，全国的书店都关着门。你根本就买不到这本书。

令他意外的是，这个论点仍然成立，而且还更有力了。平台更强大，也更容易获得；单位经济效益更好；每个推理 Token 能做的事情正在增多。GPU 很贵，但优化工作不断从现有算力中榨出更多性能，而算力本身也在变便宜。他认为，公共讨论中缺失的是机会的一面。负责任的 AI 和监管很重要，也常常占满报纸版面。还应该为 Sal Khan 的 TED 演讲留出位置。Khan 所关心的问题与 AI 完美契合：来自 Benjamin Bloom 研究的“两个标准差”问题（two-sigma problem），即接受一对一辅导的学生，表现会超过普通课堂上 98% 的学生，且离散程度更小。如果你相信这一点，那么全世界每个学习者都应该免费获得高质量的个性化教学。而实现这件事唯一现实的途径，就是类似 AI 的东西。Scott 说，这就是他每天早上起床，还要应付那些喊着“给我 GPU”的人的原因，今年已经是连续第五年了。

乐观并不意味着对负责任的 AI 或在意监管的人不屑一顾。两者你可以兼顾。他不能接受的，是从悲观出发。“历史上从来没有哪个先例，是先从悲观开始，却能得到所有这些有益的成果，”他说，“悲观无法带你走向乐观的结果。”Guo 补充说，公共讨论中缺失的部分，是全球教育公平和医疗公平，也就是更便宜、更个性化的教学，以及相当于医师助理水平的帮助；而那个“黄金时代”的叙事，总是被人忽略。

Gil 从为人父母的角度提出这个问题。两年前，他会告诉孩子们去学计算机科学，把它当作未来的语言；现在他不太确定了。Scott 拒绝给出二十年的预测。他说，把时间倒回二十年前，没有人能预测到今天的样子。有些东西看起来依然牢靠。他的女儿想当外科医生，他觉得这是一份相当不错的工作。当前正在发生的是认知层面的指数级增长，这股增长与机器人技术关系不大。会改变物理系统的工作，比如护士、外科医生、理疗师、养老院里的工作人员，很可能会需要多得多的人手，尤其是在人口快速老龄化的背景下。AI 将产生相当可观的生产力效应。也许这些效应，刚好足以消化医疗体系必将承接的全新需求。

他认为，美国给予像他父亲那样的工作的尊重，比应有的程度要低。他曾在德国生活过一段时间，那里当一名机械师，是父母会为之欢喜的职业。电工、机械师、太阳能安装技术员，以及一长串相关的行业都会有需求，尤其因为整个发电和配电系统，在我们孩子这一代人的有生之年，都得重建一遍。即便编程和做播客的工具越来越好，创作类工作很可能只会更加需要人，需求只增不减。人类非常擅长把人放在故事的中心。你完全可以把《后翼弃兵》（The Queen's Gambit）换成一部叫《Machines' Gambit》的剧，讲的是计算机因为比任何人都强，只能彼此下棋。没人想看那种东西。超人级的一级方程式赛车手在封闭赛道上比赛，叉车大力士比赛，问题都是一样的。我们在意的是人想要表达什么。Guo 用一句俏皮话收尾：这就是人们为什么要看《迪拜真实主妇》（The Real Housewives of Dubai）。Scott 不想把画面描绘得过于美好。每一次重大的平台变革都会带来颠覆。历史还表明，人类对有事可做的需要，程度之深令人惊讶。工业革命时期关于每周工作四小时、人人都过上悠闲生活的预测，用他的话说，是“胡扯”。这很大程度上是因为，人们其实喜欢做事情。

展望未来十二个月，他预计基础模型的部署将迎来第一个大年：大量公司推出产品，大量想法被尝试，每家大型科技公司都会推出一些实质性的东西。它会波及微软的整个产品线。到今年年底，你与软件的交互方式会与年初相比有很大不同，他认为这对每个人都会如此。大型科技公司与小型科技公司之间的竞争格局会发生变化，小公司将有机会楔入市场、站稳脚跟。他和 Sam Altman 经常谈论一件事：他猜测下一家万亿美元级别的公司，今年就会成立。至于会是哪一家，现在还不清楚，但这个行业早就该出现这样的公司了。从技术上看，他预计 RedPajama 这类项目，以及其他类似的项目，将在能力更强的开源模型上取得真正的进展，并希望能配套相应的安全方案。能够接收视觉输入并对其进行推理的多模态模型，会像 GPT-4 那样，开启另一波浪潮。他说，今年的主题将是进展和活动之多，几乎多到让人跟不上。他甚至需要一个 Copilot，才能确保自己不会错过下一件重要的事。

最后，他想谈谈监管。录制那一周，Altman 正在参议院司法委员会作证。Scott 认为，这类讨论多一些是好事，而且在规则出台之前，科技界就需要就一些合理的做法达成共识。把监管视为麻烦，是错误的本能反应。人们对监管的渴望，恰恰说明这项工作很重要，因为没有人会去监管无关紧要的东西。他拿电力作比：让技术充分发展，同时制造出不会让人一碰电极就被电伤的发电机，协调好电网，并确保进入住宅的电不会引发火灾。大部分思考应该放在部署环节。规模最大的基础模型，本身已经有多层安全防护，而每一个应用、每一次部署，都需要再加一层。初创公司和开源社区都有各自的责任。作为微软 CTO，他与 OpenAI、Anthropic、谷歌以及其他公司展开激烈竞争。但以 Kevin 这位世界公民的身份，他并不担心这些竞争对手会做出什么不安全的事。