用一整片晶圆做成的芯片，让 AI 不再被阿姆达尔定律（Amdahl's law）拖慢

开场讲的是 Feldman 本人，没有产品演示。这件事的目的不是赚钱，也不是小幅推进。Cerebras 的创始人想撬动整个行业，看能不能把它改变，方案的目标是“好 50 或 100 倍，而不是 10 倍”。随后 Nathan Labenz 点出利害关系：算法、数据和算力是 AI 的三大要素，节目里已经讲过很多前两者，这一次是第一次走进硬件。

嘉宾是 Andrew Feldman，Cerebras Systems 的 CEO 兼联合创始人。该公司做出了全世界最大的芯片，Feldman 本人也是计算机历史博物馆的入选者。多年来 AI 一直跑在 GPU 上，因为它们是大规模并行化最好的方式。Labenz 指出，英伟达如今市值约 7500 亿美元，仅 2023 年市值就翻了一倍多。这些 GPU 原本并不是为 AI 设计的。把它们连在一起、来回搬运数据，在大型训练任务中占去了相当大的一部分开销。据传 GPT-4 的成本约为 1 亿美元或更多，下一代系统的成本可能达到几十亿美元。

这让算力成了一个产业政策问题，也可能成为监管上的咽喉点。Feldman 和同事都是芯片行业的老兵，他们看到深度学习的工作负载即将到来，便决定从头开始打造。他们卖的不只是史上最大的芯片，还有一台价值数百万美元的完整计算机，试图通过放大硅片本身来消除集群的复杂性。英伟达、谷歌、Meta 和微软也都在设计 AI 芯片。Labenz 认为，一个增长如此之快的市场，容得下不止一个赢家。

大家都知道的数字是 2.5 万亿个晶体管。Feldman 拿汽车打比方：有的适合去超市、练足球，有的负责拉木材和砖块，还有的周末开着玩。Cerebras 想做的是一颗只为一件事优化的芯片。他说，AI 需要的是大量相对简单的计算，外加海量的通信。把芯片做得足够大，就能把这些通信留在裸片之上。片上通信既快又省电，比离开芯片、穿过主板、可能还要经过交换机才抵达另一块芯片的通信，快上千倍，能效也高上千倍。

Labenz 请他再往底层讲。Feldman 说，芯片就是一小片硅上的电路：晶体管嵌在二氧化硅里，大部分数字世界都靠它运转。这种多样性很容易被忽略：有功耗只有毫瓦级的传感器，有驱动洗碗机和咖啡机的芯片，汽车里也处处是芯片，然后才是人们已经习惯的手机、笔记本和云端服务器。算力就存在于芯片之中。设计 2.5 万亿个这样的晶体管非常难，需要数年时间、数亿美元，还要有一股啃硬骨头的劲头。

Cerebras 是一家系统公司，不是只做到 GDSII 文件为止的设计公司。他们做芯片、主板和机箱，负责供电和散热，有时还负责搭建由这些机器组成的集群，其中一些是有史以来最大的 AI 超级计算机。整个技术栈从硅片一直延伸到编译器和管理软件。Feldman 已经是第五次创业，每次的路数都一样：为一个难题量身打造芯片、板卡、系统和系统软件。

2015 年底，几位创始人坐下来，问自己想解决哪个问题。他们感兴趣的是 AI。这种工作究竟需要机器提供什么？他们的答案是：需要一台专用的计算机，而不是改造过的图形处理器。从尺寸、核心的形状到核心的数量，每一个决定都只为 AI 优化，而不是为一堆其他工作服务。Labenz 从中听出了远见，因为 2015 年的模型要小得多。Feldman 否认自己有这种远见。技术愿景属于联合创始人，他的本事在于挑人，挑世界级的员工。

他确实看到了一种历史上的相似。手机的计算是一个新挑战，英特尔和 AMD 都没有抓住，ARM 却拿下了 100%。AI 看上去是同一类剧变。他们大概低估了它的规模。他说，连续创业者会一次又一次地和同一群人合作。CTO Gary Lauterbach 是他上一家公司的联合创始人。Michael James、J.P. Fraker 和 Sean Lee 当时都是那里的技术负责人。最初的 20 到 30 名员工中，几乎每个人以前都和他们合作过，有些可以追溯到 1996 年。

他们在白板上写下两件事：想再次一起工作，想做一件重要的事，目标是快 50 或 100 倍，不是小修小补。他们先把这个想法拿给认识的最优秀的人聊，然后再找投资人。他们做了八次路演，拿到八份投资条款清单，资金很快到位，其中有 Feldman 所说的业内顶尖投资人，还有超级天使，防止他们犯下明显的错误。先定架构：从 A 到 Z，哪些部分需要发明，哪些只是成熟的工程。他们喜欢先从最难的部分下手，这里指的就是一块在内存带宽上比 GPU 快上几个数量级的芯片。

Labenz 读过 Chris Miller 的《Chip War》，他的印象是：高度专业化，而且存在单点故障，比如一家荷兰公司生产的设备几乎刻蚀了所有先进芯片。他问，抛开别人的路线图，真正最难的是什么？Feldman 用中世纪的地图作答：已知的陆地之外，画着一条龙，下面写着“here be dragons”。他们只想朝那个方向航行。此前已经有人尝试造大芯片并失败，也有文献专门讲失败的原因。Cerebras 用大约六个月、2000 万美元解决了那些有记录的问题。在更高处，还没有人失败过。

他把这比作坐在珠穆朗玛峰（Everest）脚下，那时还没有人登上过它。登山者下山后说，半山腰已经很艰苦。你登上顶峰，回来告诉他们，那根本不是最难的部分。每个阶段，他们都得自己发明工具、制造设备、散热方案和元器件，开拓性工作没有现成的目录。即便如此，供应商还是很兴奋。一位供应商的工程师（并非 Cerebras 的员工）告诉他们，他们正在做的事，正是他决定成为工程师的原因。这一路没有任何一个环节是轻松的。

团队重新聚齐后，那六个月他们主要在做一个软件模拟器，相信它的行为会和芯片相同，同时在早期物理设计启动时开始试验各种权衡。Feldman 说，芯片架构就像一块固定的地皮。你要把其中一部分分给计算，一部分分给内存，一部分分给通信。大核心还是很多小核心，集中式内存还是每个核心各自一块存储，几条粗管道还是许多细管道：每种工作负载的答案都不同。AI 并不是一个大的共享缓存问题，它更像是许多小计算在层与层之间流动。超级计算机一直需要 64 位双精度，AI 不需要，所以 Cerebras 没有这一功能。GPU 仍然要把硅片用于图形问题，这些 Cerebras 直接省掉了。

Labenz 给出了一个通俗版的 GPU 训练内存之痛：你得一直保存参数和反向传播的梯度，直到一批更新落地，才能释放空间。Feldman 说这是个不错的通俗解释，并指出了困扰 GPU 的两个问题。第一，参数数量已经超过单张卡能装下的容量，所以得把权重分片到许多 GPU 上。第二，一个大层的矩阵乘法本身就大得离谱，你只能把它切成碎片，分散到成百上千张卡上，然后等最后一块算完。这就是阿姆达尔定律。你会非常在意每个分片在时间上离你有多远。

他说，看看 Llama 或 GPT-4 的论文，致谢里常常会感谢几十个人，但这些人感谢的不是模型，是分布式计算中那些切碎、摆放的活儿。在 Cerebras 的芯片上，这种摆放只需要几分钟。这种架构的内存足以容纳数万亿个参数，核心数达到 85 万个，连最大网络里最大的一层也装得下，你永远不必切分。Labenz 认为，这更接近人们对神经网络的心理图像：层、数据流动、参数静止不动，而不是难以理解的分布式混乱。

按 Feldman 的讲述，历史在 2015 和 2016 年分岔，当时通信看起来是最难的部分。Cerebras 造了更大的芯片，好让你少做通信。英伟达收购了专做以太网和 InfiniBand 的迈络思（Mellanox），用来把许多小芯片连在一起。把小芯片连起来很麻烦，性能几乎总是次线性的：多加一个人，活儿不会减半；加到 50 个人，也不会变成五十分之一。协调正是管理存在的意义。Cerebras 把激活值保存在芯片上，数据和参数流入，梯度流出，并让每个核心都拥有自己的内存。争抢这件事根本没有机会发生，也就是超市收银台前所有人同时扑向芯片外 DRAM 的那种拥堵。

Labenz 对此很惊讶：公司在 Transformer 出现之前就已成立，按 Feldman 的说法，在 Transformer 上它仍是地球上最快的。这颗芯片的针对性有多强？如果循环网络出现突破，会不会受到冲击？Feldman 称这是计算机体系结构的基本问题之一：哪些做成通用的，哪些做成专用的。英伟达在 V100 和 A100 里放了专门用于 3x3 卷积的电路，对计算机视觉很好，对语言却极其低效。这就是专用化的代价。Cerebras 瞄准的是更底层。图网络、视觉和大语言模型，都能分解为稀疏线性代数。他们把引擎针对这一点做了优化，事后证明这是个好选择。

稀疏就是矩阵里充满了零。GPU 无论如何都会把每一项都乘一遍。乘以零既耗时又耗电，还不产生任何新信息，就像赛跑时原地踏步。Cerebras 的机器并非为图形设计，图形是一个稠密问题。当一个核心遇到零时，它会跳过乘法，因为它已经知道结果。稀疏性无论出现在权重、激活值还是结构之中，你都能停止做无用功。每一瓦电力、每一个时钟周期，都可以用来完成训练、自回归解码或分类。

一批近期论文，包括 Cerebras 自己的研究，以及 Neural Magic 关于推理的一篇，表明有时可以把权重舍入为零，而几乎不损失精度。再配上稀疏引擎，训练会快得多，所需算力更少，能耗只是一小部分。这就是研究的方向：在不损失精度的前提下，压缩这些模型所需的、荒谬庞大的算力。被问到跳过零值在物理上如何实现时，Feldman 改用货运来解释。如果你的物流只能运托盘，那你就得把箱子打包、用叉车搬运，还得把空箱子运遍全国，因为你看不见箱子里面。巨大的内存带宽，就是能检查每一个箱子，把空的扔掉，搬运的是向量甚至标量，而不是托盘。带宽足够惊人时，你就能获得细粒度的控制。

有了芯片，还需要晶圆、芯片工厂（fab）和封装，而且每一步都要偏离标准规格。这个过程是光刻，不是雕刻。如果想要激进的几何结构，比如每平方毫米塞进惊人数量的晶体管，那么从大约 7 纳米制程开始，只有两个选择：台积电（TSMC）在台湾，或三星在首尔。2016 年，Cerebras 用的是 16 纳米工艺。Feldman 说，不再是三十来岁的人，好处之一是有人脉。他们飞往台北，与台积电的高层坐下来，描述了一颗比以往任何人做过的都大 56 倍的芯片，沿用现有的工艺步骤，而相关的想法已经获得专利。

台积电的营收以数百亿美元计。当时的 Cerebras 不过是“一份 PPT 里的 30 个家伙”。会议上，他们批准了这个项目。第一批硅片成功了。这个制造工艺也是 chip 这个词的由来：一块 300 毫米的晶圆进入芯片工厂，步进式光刻机像饼干模具一样，在晶圆上一个个压出裸片，然后晶圆通常要切割分离，沿着这些线切开，就像饼干模压完之后，把多余的面团揭掉。Cerebras 问，为什么要把蛋先生（Humpty Dumpty）打碎，再花大价钱做昂贵的切换，假装它还是完整的。他们的专利让他们能保留台积电的步进式流程，并跨越切割道（scribe line）进行通信，那道切割道正是通常要切掉的多余面团。

在视频中，Feldman 把一块英伟达 A100 放在 Cerebras 晶圆级芯片旁边，称 GPU 是“可怜又悲伤的小东西”。一颗大 56 倍、晶体管多出数万亿个的芯片，带来了新的一类问题：功耗、散热和数据供给。他们为这几样都想出了办法。他们是最早为 AI 专用处理器配备水冷的公司之一。水是极好的冷却剂，空气则很差；温度更低，可靠性更高。在同一个区域里，相当于数百张 GPU 的算力可以保持低温，并得到大量数据供给。他们就是这样达到那些性能数字的。

Labenz 还留意到另一种趋同：Cerebras 花了七八年做巨型芯片，而业内其他人则在搭建软件栈，管理 GPU 集群的复杂性。Feldman 说，如今的软件格局既比 2015 年简单，也比 2015 年复杂。那时候有 Caffe、Theano，还有简陋的 TensorFlow，没有 PyTorch。现在世界已经收敛到 PyTorch，Chris Lattner 的 MLIR 则提供了一种中间表示，大家都可以编译到它上面。与此同时，模型和数据集都变得荒谬地庞大。几十张 GPU 已经不够用，你需要几千甚至几万张。Cerebras 一台就能替代数百张，于是下一步就是用自家的机器组建集群。

2022 年 11 月，他们宣布了 Andromeda：16 台机器，1360 万个核心。Feldman 指出，地球上最大的超级计算机大约有 800 万个核心，尽管每个核心更大。有了它，他们就能迅速推进。在这次对话的五六周前，他们把七个按 Chinchilla 最优点训练的 GPT 模型，以 Apache 2 许可证发布到开源社区。他拿这件事与 OpenAI 对 GPT-4 闭源、Meta 给 Llama 加上限制性许可证做对比。如果你想用 Cerebras 的模型赚钱，请便。他们做过超过 192 台机器的集群；他说，目前甚至还没有需要那么多机器的工作负载，不过在接下来的六到八个月里，会宣布使用海量此类系统的项目。

他们不卖芯片，卖的是整台计算机，可以本地部署（on-premise），也可以放在他们的云上。客户分布在日本、北美和欧洲，有军方、政府、大型企业和创业公司。年轻的从业者更想用云。大型制药和能源公司常把专有数据放在本地，葛兰素史克（GlaxoSmithKline）和道达尔（Total）是他列举的几个名字。无论哪种方式，开发者写的仍然是 PyTorch。在 GPU 上，你要花大量时间处理分布式计算，而且仍然可以渲染图形。在 Cerebras 上，你不必考虑分布式，无法做图形，但速度可能快几十倍甚至几百倍，因此研究的迭代会加速。GPU 集群上十个人每人只能分到一小片，只好端着咖啡等。十个人共用一台 Cerebras 机器，则是依次排队运行，每个任务只需一小部分时间就能完成。

巨型芯片会出现在特斯拉或手机里吗？不会。边缘端的存储很轻，训练却对数据极度依赖，所以大家伙留在数据中心，手机则保留小巧高效的推理，就像 x86 服务器和 ARM 手机已经如此分工。Labenz 原本设想，一颗内存丰富的边缘芯片可以为机器人执行大模型的循环。Feldman 把推理分成两类。分类，比如“孩子、狗、一堆树叶”，在经过大量训练之后，可以在很小的芯片上快速完成，这也是马斯克总在吹嘘数据中心算力的原因。自回归推理，也就是 ChatGPT 那种，难度太高，以至于微软和 OpenAI 都限制了免费使用。机器人做的大部分事都是分类。Cerebras 的托管推理服务“还没有，但快了”。

先说最喜欢的产品。Feldman 仍然对 ChatGPT 感到惊叹，喜欢用 Replit 生成代码，公司内部则用 Jasper 来统一品牌语气。他最自豪的应用并不面向消费者。Cerebras 参与的阿贡国家实验室（Argonne National Laboratory）工作，获得了上一届 Supercomputing 大会的最佳论文，该工作基于病毒 DNA 预测新冠突变，这项工作或许能支撑覆盖更多变种的疫苗。葛兰素史克正在他们的机器上做表观基因组学。他认为，很多影响将来自人们看不见的工作。

如果有一百万人已经戴上了 Neuralink 植入物，而且临床结果看起来不错，他会不会也去装一个？他和马斯克认识，认为马斯克找到了一个真实存在的问题：输入和输出。用他的话说，大脑通过眼睛获取的数据量，比任何人能输送给哪怕是大芯片的都多出数百乃至数千个数量级。婴儿通过看、摸、尝，被数据淹没。他说，大语言模型表明，关键与其说是参数数量，不如说是数据和数据质量。Labenz 补充了语言的瓶颈：描述一幅画要用很多词，而图像、气味和触觉要丰富得多。Feldman 称这是对 I/O 问题的准确表述。他不确定自己会不会一头扎进去。他对自己人类的局限，多少还挺满意。

Labenz 搜了一下，大脑约有 100 万亿个突触连接，而芯片只有 2.5 万亿个晶体管，他问为什么大家那么确定这些基底什么感觉都没有。Feldman 表示，他“很有把握，自己完全不知道”。底下不过是大量的加法和乘法。我们知道，极其复杂的东西可以建立在极其简单的基础之上。即便看到机器的自我意识，我们也可能认不出来。经济学家过去常说人是理性且自利的；作为机制，这并不成立，作为经验法则却很有用。他预计机器也会如此：我们会看到熟悉的行为，并把它们错当成感受，而这个经验法则仍然是合理的。节目剩下的部分，最好请些比芯片制造商更有智慧的人来谈。

最后谈谈希望与恐惧。每一项强大的技术都可能被用于大恶。人脸识别既能迫害少数群体，也能识别恐怖分子。要拿技术去和真实的现实比，而不是和理想化的版本比：人类是糟糕的司机，自动驾驶的目标是让死于车祸的人大幅减少。五十到七十年的努力也没有治好人类的偏见；最初的模型也有偏见，但修正算法比修正一个人容易，而且算法一旦修正就会保持修正。互联网起步于色情内容和暗网，它的益处则是多年之后才赶上来。精心设计的网络钓鱼、诈骗和压迫都是真实存在的，而且规模很大。总的来说，他认为这项技术会从根本上改善我们的生活、工作和娱乐方式，因为没有哪项重要技术是不能用来作恶的。