MI300 推理性能领先 2 倍：AMD 首席技术官谈不靠封闭生态赢得芯片竞争

Sarah Guo 和 Elad Gil 在 No Priors 节目中请来 AMD 首席技术官 Mark Papermaster 做客，聊 GPU，以及一直在推动这个行业的竞争。他说自己的时机很幸运。他从德克萨斯大学电子与计算机工程专业毕业后，正赶上 CMOS 工艺（如今每块芯片都在用的工艺）开始量产，于是加入了 IBM。他参与了 IBM 最早的几个 CMOS 项目，设计过一些最早的部件，几乎摸过芯片设计的每个环节。后来他负责 PowerPC 的微处理器开发，这意味着要和苹果、摩托罗拉打交道，也涉及 IBM 大型机和大型 RISC 服务器里的“大型机级”芯片。

之后，乔布斯聘请他负责 iPhone 和 iPod 的工程工作。在那里干了几年后，他在 2011 年秋天接下 AMD 的职位，身兼首席技术官和技术与工程负责人。那时摩尔定律刚开始放缓，业界需要大量新发明。AMD 本身已经有五十多年历史，最早是关键元件和 x86 微处理器的第二货源供应商。十多年前，现任 CEO 的 Lisa Su 和 Papermaster 被请来时，任务是让 AMD 重新具备强大的竞争力。他们先从 CPU 入手，然后扩展到整个产品组合。2022 年 2 月，AMD 收购了 Xilinx；之后又收购了 Pensando，用来在工作负载扩展时补强网络互连。

他今天描述的这家公司，比他接手时那家以 PC 和游戏为主的公司广阔得多。AMD 的 CPU 和 GPU 运行在全球最大的超级计算机中。大批 EPYC x86 服务器装机量庞大，在云端运行。这些芯片也用在 Xbox、PlayStation 以及许多游戏显卡里。Xilinx 补足了嵌入式产品线，AMD 自己也有嵌入式 x86 产品。这就是现在的版图。眼下的问题是：它如何从扭转 PC 业务的局面，走到 Meta 和微软愿意站上台公开采购的旗舰产品？

AMD 在 AI 上最初的注意，和业内人人熟悉的经过一样。等到应用领域铺开，GPU 就成了关键角色；Geoffrey Hinton 的研究证明，这类芯片能把图像辨认和语言理解的水平拉高一大截。AMD 当即意识到这是机会，难点在于该怎么走这一步。大约从 2012 年到 2017 年，公司的收入几乎仍然全部来自 PC 和游戏。要让人们愿意为高性能计算选用 AMD 平台，手里得先有处于领先地位的基础产品。因此，他们首先要重新规划 CPU 的产品路线。Zen 架构在 2017 年问世，PC 上是 Ryzen，服务器上是 EPYC，营收开始攀升，产品线也随之扩大。

早在 Lisa Su 加入之前，他们就已经看准了异构计算的方向。AMD 早先收购 ATI，把 GPU 业务引入了公司，这种组合也是 Papermaster 接下这份工作的原因之一：AMD 确实是唯一同时拥有非常强的 CPU 产品组合和非常强的 GPU 产品组合的公司。他认为，业界需要把串行、标量式的 CPU 工作和 GPU 的大规模并行放在同一个地方。AMD 为 PC 应用推出 CPU 与 GPU 合一的产品，时间比任何人都长，从 2011 年推出加速处理器（APU）开始。在大数据工作上，他们从高性能计算（HPC）切入，即国家实验室和石油勘探那一类场景，赢得政府项目，进而在超级计算机设计中用上了 AMD 的 CPU 和 GPU。这项软硬件工作持续了好几年。2023 年 12 月 6 日，旗舰产品 MI300 发布，这项工作达到顶峰：其中一个版本性能很猛，面向高性能计算；另一个版本则专门针对 AI 训练和推理进行优化，正面迎战。

发布时，Meta 和微软公开承诺采购。Papermaster 最关注的工作负载，仍是当今 AI 支出的大头：提升大语言模型训练和推理的准确率，也就是 ChatGPT、Bard 那一类系统，它们吞下海量数据，最终目标是通用人工智能（AGI）级别的能力。MI300 的设计定位，就是能在这个领域挑战行业领导者的旗舰产品。他说，MI300 做到了这一点：训练上有竞争力，推理上领先，在 FP16 vLLM 上超过 2 倍，这是一项大多数人都能跑的指标。

他们是刻意这么做的。他们为训练和推理所需的数学运算打造了高效的计算引擎，同时配上了高效计算所需的内存。与竞争对手相比，他们能用更低的功耗、更小的机架空间完成更多工作。在数据中心里，电费和占地面积就是主要成本。大模型推理非常依赖内存带宽，如果内存不能为计算引擎供数，算力就会闲置。把高带宽内存堆叠在计算芯粒（chiplet）旁边，缩短了数据搬运的距离。先做旗舰、再铺开产品线，这套打法和 Zen 重建 CPU 业务时一样：先在高端插旗，再补齐整条产品线。

Guo 把竞争的其余方面摆上台面：整体性能、能效，以及软件平台，也就是 CUDA 和 ROCm 之争。开发者为什么要换？Papermaster 说，这个赛场是多维度的，这也是许多创业公司吃力的原因。他想让大家记住一个事实：如今，大部分推理仍然运行在通用 CPU 上。这指的是日常的 AI 应用，大规模的大语言模型服务不算在内。大语言模型的工作几乎全都跑在 GPU 上，因为那里有软件和开发者生态。AMD 在 CPU 上一直有竞争力，并按照自己公布的时间表，一代接一代地抢占份额。在 GPU 上，直到现在，AMD 才同时拥有了世界级的硬件和世界级的软件。

因为它是 GPU，部署应该很容易。这些芯片保留了 GPU 的编程语义，所以底层代码并不陌生。它们支持主流框架：PyTorch（AMD 是 PyTorch 基金会的创始成员之一，也是两款经过认证的硬件之一）、ONNX 和 TensorFlow。在 Hugging Face 上，他们与 Clem Delangue 的团队合作。随着成千上万个开源语言模型陆续发布，Hugging Face 在 AMD Instinct GPU 和英伟达 GPU 上同等地测试它们，每晚都会跑回归测试。早期客户让这个闭环完整起来。Elad 投资的公司 Lamini 一直在 AMD 机架上提供大语言模型服务，并与真实用户交流。Papermaster 比任何内部测试套件都更看重这些反馈，因为目标是无缝部署。Gil 的解读是：软件团队和机器学习团队对竞争的渴求，说明这个环境以前受到的限制有多大。

Papermaster 进一步指出：没有竞争，行业就会停滞。看看 AMD 重回领先之前的 CPU：改进是渐进式的，几乎没有别的。他说，市场的拉动和合作关系都非常强劲。作为回报，AMD 会持续交付有竞争力的产品。Guo 问，像 ROCm 这样体量的软件栈为什么要保持开源，背后的理念是什么。Papermaster 说，这件事对他们很重要，协作是公司的文化。AMD 的 CPU 编译器用的是 LLVM，GPU 编译器底层同样是 LLVM。不只是编译器，他们还开放了整个 ROCm 支持软件栈，这也是拿下大型超算项目的重要一环。Xilinx 秉持同样的理念，所以 2022 年的合并只是加深了这一承诺。他们不想用专有的封闭生态把客户锁住。他们想靠最好的方案取胜，给客户选择，一代又一代凭实力赢得市场。

Gil 把视角拉远，谈到 AI 算力云。除了 Azure、AWS 和 GCP，还出现了 Baseten、Together、Modal、Replicate 等公司，它们提供不同的工具和端点，部分也借着 GPU 短缺的势头成长。如果约束消失，三四年后这个市场会是什么样？Papermaster 说，供应紧张会过去。AMD 正按计划提升 Instinct 的产量并交付。更重要的事实是，市场本身正在以惊人的速度扩张。如今的生成式大语言模型应用，最初都依托超大规模云厂商，因为训练，以及其中相当一部分推理，都需要大规模集群。现在，一个又一个应用都在非线性地起飞。人们开始学习微调，训练更小的模型，它们只需服务自己的业务，不必回答世界上的所有问题。这就造成了集群规模和配置的极大多样。

算力不断下沉：从超大规模云厂商，到他所说的二线数据中心，再到边缘。当需要低延迟时，就把推理放到工厂车间，靠近数据源。再往后是终端设备。AMD 在 2023 年全年都在 PC 上出货 AI 推理加速器，并在 2024 年 CES 展会上宣布了下一代 AI 加速 PC。Xilinx 的嵌入式产品线对大量应用场景的定制化推理需求，拉动很明显。要满足激增的需求，就要做定制化的算力部署。Gil 问，到底是什么卡住了 GPU 供应：是封装、台积电的产能，还是数据中心的电力？Papermaster 讲的疫情期间的经历，可以当作参照：PC 和 x86 服务器被抢购，基板短缺，大家手忙脚乱。之后他们确保了更多基板产能，并依托与台积电长达数十年的合作。提前察觉信号，短缺就能控制住。

AI 需求的增长是巨大的，芯片工厂正在做出回应，而你不能只盯着晶圆来思考。AMD 和它的 GPU 竞争对手都在使用先进封装。他拿 MI300 举例：它是一组芯粒，有的负责 CPU 工作，有的负责 I/O 和内存控制；在高性能计算版本里，他们在同一集成中加入了 CPU；高带宽内存环绕在计算引擎周围，横向连接，在 MI300 上还纵向堆叠。这条供应链很复杂，但 AMD 已经将近十八年没有自己的芯片工厂了，他向供应链团队致敬。他认为，行业会走出这些短缺。剩下的制约是电力。所有大型运营商都在寻找电力来源。对于设计这些耗电引擎的人来说，这就让能效成了每一代设计的首要考量。

Guo 提醒他，他曾说过摩尔定律的终结也是他选择 AMD 的原因之一。他被一家有颠覆性历史的公司吸引，被 CPU 加 GPU 的组合吸引，也被芯粒吸引。当时芯粒还只是早期探索，工程团队却都围绕它凝聚起来。对摩尔定律的常见理解是，主要靠代工厂承担繁重的工作：新的工艺节点让器件缩小，性能更强，功耗更低，成本不变。放缓并不意味着器件不再进步。它意味着成本更高，功耗降得没那么多，而你依然能把更多晶体管塞进去，只是需要更多发明。他把这叫作整体设计（holistic design）。

整体设计有好几层。让引擎匹配任务：CPU、GPU，或是 PC 和嵌入式设备中超低功耗的 AI 加速等专用引擎。组合芯粒，让每项功能都用最适合它的工艺节点。然后继续贯穿封装、互连和软件栈进行优化。优化是从晶体管到应用的完整闭环。MI300 就是一个例子：CPU、I/O 和内存控制各用小芯片，高带宽内存为计算引擎供数，横向与纵向堆叠。AMD 不需要拥有整个系统，也不需要拥有最终应用。协作是他们的文化：深度合作，端到端地优化整体方案。

对其他人来说，战略层面的问题来得很突然。Guo 问，在地缘政治更紧张的环境下，AMD 如何看待台积电近乎垄断的地位，以及芯片工厂的安全问题。如今，各国的运转都依赖支撑关键系统的芯片设计，因此供应的连续性就是国家安全问题，AMD 也在与合作伙伴一起把这一点纳入战略。他们支持芯片工厂扩张：台积电在亚利桑那州，三星在得克萨斯州，此外还有欧洲和亚洲其他地区的设施。封装也需要同样的地理分散，包括把芯片装在基板上、互连，以及整个生态。软件可以先发布一个 MVP，然后一夜走红。扩大半导体供应链则需要多年准备，必须现在就开始。这个行业是围绕全球各地的专长集群建立起来的。政治和经济更加动荡，分散制造就变得势在必行，他说，这件事已经在进行中。

Gil 列出了一串新硬件，包括 Vision Pro、Rabbit、Humane 和 Figure，问什么因素决定成败。Papermaster 先从技术谈起。芯片设计是这波爆发得以实现的原因之一：算力更强，体积更小，耗电又少到让影音设备得以存在。早期的头显太重、太大，算力也不够。如果从头显发光到处理完成的延迟太大，看电影或玩游戏时人就会身体不适。Meta Quest 和 Vision Pro 之所以能出现，是因为业界啃下了功耗和算力这个难题。技术只是前提。他在苹果学到的是，成功的设备要满足某种需求，给人一种让人喜爱的能力；“这件事比别的稍好一点”那种渐进式改进，不够。它们必须开创一个新品类。现在评判这一批产品还为时过早，但框架已经清楚。

他认为，PC 上的 AI 已经接近于让 PC 自成一个新品类。想象一下，你不会说英语，却能实时看这期播客，按一下实时翻译，就用自己的语言听，几乎没有可察觉的延迟。这只是无数种可能中的一种。Guo 指出，在云计算时代，负载转移到了服务器上，延迟不再是首要的设计考量。如今的模型跑得慢，人们还要把它们串起来用，于是端侧计算又回到了台前。Papermaster 表示同意。把沉重而高效的计算放在优化过的数据中心里，同时把需要即时响应的部分写进算法，让它们留在边缘或设备上。他举的例子是一辆高度自动驾驶的汽车，一旦失去云端信号就直接停下。这种事你肯定不会接受。

他希望工程师、创始人和高管们了解 AMD 的哪些方面？今年是重要的一年。他们花了好几年为 AI 打造软硬件，现在已经为整个产品组合引入了 AI：云端、边缘、PC、嵌入式，以及能用 AI 做画质放大的游戏设备。2024 年是落地之年。基础已经打好，合作伙伴也已就位。他承认，在 AI 领域 AMD 常常不太被人知道，人们想到的都是竞争对手。他们希望这一年里，凭借结果和价值，被认作那家把 AI 带到这么多应用场景中的公司。这些场景既包括云端大规模的大语言模型训练和推理，也同样包括算力领域的其他部分。微软在谈从云到端的赋能；许多独立软件开发商（ISV）都在问 Guo 问过的同一个问题：我该怎么写应用，才能让最好的体验同时用上云端，以及手上或笔记本电脑里的设备。他称这是一个转折性的一年，AMD 希望站在这场变革的中心。