一块餐盘大小的芯片，把训练时间从 60 天缩短到 3.5 天

GPU 短缺已经不再是行业边缘的传言。大大小小的生成式 AI 公司，训练任务和产品发布都因此被耽误。Sarah Guo 和 Elad Gil 在这期《No Priors》一开场就谈到这一短缺，随后请来 Cerebras Systems 的首席执行官兼联合创始人 Andrew Feldman。Cerebras 正在打造的，据他们介绍，是有史以来最大的计算芯片之一，也是最快的专用 AI 处理器之一。Feldman 是半导体领域少见的连续创业者。他此前的公司 SeaMicro 开创了高能效、高带宽的微型服务器，并于 2012 年被 AMD 收购。

录制节目那一周，Cerebras 刚刚宣布与阿联酋科技集团 G42 建立战略合作：一项 1 亿美元的交易，要搭建 9 台 AI 超级计算机。每台有 4 exaflops 的 AI 算力，合计 36 exaflops。Feldman 说得很直接：找到一个认同同样愿景、愿意和你一起建造的合作伙伴，而且能够开始建造地球上最大的计算机，再好不过了。

这家公司并非从 2023 年一张关于 ChatGPT 的幻灯片开始的。2015 年底，五位前同事开始定期碰面，寻找下一台要造的计算机。Feldman 提到，当时他们就在 Guo 的办公室里碰头。有一天，他们的首席技术官 Gary Lauterbach 向后一靠，问为什么一台为把像素推到显示器上而优化的机器，会是 AI 的理想选择。接着他又补了一句让人记住的话：如果二十年来为一件事优化的部件，恰好也很适合另一件事，那岂不是很巧？他们认真研究了 GPU 和 AI 工作负载。到 2016 年初，他们认定自己能做出更好的部件，策略也很明确：要好上一大截，而不是略好一点。

这个判断把他们引向了晶圆级集成，这项技术此前从未成功过。这块芯片大约有餐盘那么大，而大多数芯片只有邮票大小。他们选择它，是因为相信负载会变得非常庞大，而内存带宽，以及把任务拆分到许多小机器上的麻烦，会成为最主要的约束。这是 Feldman 的第五家创业公司。他说，这是他第一次低估了市场。2016 年初，他们去推介了八次，回来时手里有八份投资意向书。

Guo 翻出了她那次 2015 年底会议的笔记。Feldman 当时有一张幻灯片，论证深度学习的七大难题全都是训练时间太长的问题：在 Transformer 规模化之前，整个行业就被算力卡住了。他开玩笑说，她应该把这段内容发给他的妻子。认真说来，他把之后在 Transformer 上的成功当作一次架构检验：他们在 Transformer 出现之前就铺下了设计，而他说，如今它们在 Transformer 上快得多。一个设计遇到它从未见过的工作负载，仍然能表现得很出色，这就说明硬件架构选对了。

Gil 问他们如何拿这款芯片和 GPU 比较打分。Feldman 不相信手工打造的基准测试。他在 AMD 时见过一个 30 人的团队，工作就是去钻基准测试的空子；Lauterbach 在 Sun 的时候，基准测试团队有 70 人。他说，真正的答案，是客户训练一个模型需要多久，通常是一组模型。如果目标是一个中等规模、130 亿参数的网络，你几乎总是从 1 亿参数开始，然后扫过 3 亿、6 亿，也许 10 亿，去寻找优化点。整个阶梯跑下来的表现，就是分数。

真正要计的时间，是从客户的模型到达开始，到训练完成为止，其中也包括把模型改造成分布式计算所花的时间。Feldman 说，翻一翻大模型论文的致谢，常能看到 20 到 30 个人因张量并行和模型并行而被致谢。在 Cerebras 的设备上，这一步就不需要了，因为系统严格采用数据并行运行。客户省下的时间，就可以用来训练模型，而不必琢磨怎么把一个巨大的矩阵乘法拆分到一堆 GPU 上。

这块芯片是一种数据流（dataflow）架构，由约 85 万个相同的计算单元（tile）组成。每个计算单元既是处理器又是存储器，因此整台机器是完全分布式的内存结构：SRAM 距离使用它的核心只有一个时钟周期，这也是 Feldman 声称从来不存在内存带宽问题的原因。计算核心等待一个令牌或一个 flit，告诉它们要做什么、结果发往哪里，然后把工作继续推进。他认为，这种结构与 AI 很契合，因为 AI 本身就是一种流动。这个想法比公司本身还早。数据流架构在 20 世纪 80 年代由 MIT 的 Arvind 开发，但当时没有合适的工作负载，直到这类负载出现，它才派上用场。

在晶圆上保留大量 SRAM 还有第二个好处：可以利用稀疏性，而 Feldman 说，别家在这方面确实很吃力。参数并不存放在芯片上，而是放在芯片之外的参数存储器中，再以流的方式读入。结果就是严格的数据并行训练。即便在 64 节点的集群里，每台机器也运行同样的配置，看到同样的权重，只读取数据集的不同切片。扩展是线性的，他称这在计算领域前所未闻。

这套设计直接回应了客户每次买 GPU 都会碰到的一个限制。传统 GPU 的显存在中介层（interposer）上是固定的：你可以要 40 GB，也可以要 80 GB。想要 120 GB？想要 20 GB？想要更大的参数存储？那就得多买 GPU，而你不得不同时为并不想要的算力或不想要的显存付钱，因为两者是紧密耦合的。Cerebras 把二者解耦，Feldman 说这一手法来自超级计算领域。你可以在一台系统上运行任意大的网络，哪怕是一万亿参数的网络。速度会很慢，但能跑起来，能定位各层，也能调试。在 GPU 上做不到，因为根本没有地方存放参数。

G42 的合作已经不只体现在算力上，还体现在模型上。Feldman 举了 BTLM 的例子，他说这是 Hugging Face 上 30 亿参数级别模型中排名第一的，下载量超过 100 万次，财富 100 强企业已经在内部用它做事。当周，他们准备与 G42 旗下的 Inception 以及 MBZUAI 一起开源当时最大的阿拉伯语大语言模型（LLM）。那么，为什么要涉足训练并发布开源模型？因为算力充足，这是证明在 Cerebras 上训练有多容易的最直接办法。3 月份，别人还在发布一个 GPT 式模型，他们一口气向开源社区放出了七个。在 GPU 集群上重新分配工作是一个大工程；他说，在他们的机器上，只需要按一个键。

客户也会提出一些奇特而具体的需求。有一位客户请 Cerebras 设计一个 30 亿参数的模型，要能经过剪枝和量化，在手机上运行。展望未来，Feldman 并不认为模型会一路超过 1750 亿参数。这样规模的网络训练昂贵，也许更重要的是，部署极其昂贵：比 100 亿参数的模型贵 17.5 倍。他认为，不少量产模型会停在 130 亿参数及以下，以压低部署成本。Cerebras 正在训练一批 300 亿到 1750 亿参数区间的模型，赌的是这一区间届时仍会有需求。

他还预计多语言模型会大量涌现。Stability 刚刚发布了一款日语模型，还有一款西班牙语模型；Inception、MBZUAI 和 Cerebras 则在推出阿拉伯语模型。难点在于数据。大多数巨量数据集都来自互联网抓取，而互联网上的内容以英语为主，因此其他语言的 token 并不够用。他说，每个国家都希望自己的语言和文化能在大语言模型里得到公平呈现。语言承载着经验，纽约的经验里就包括意第绪语。如果用英语把一种少数语言淹没，那些细微之处就会被过滤掉。节目里有个玩笑：意第绪语的大语言模型会一直在抱怨，而中文的那个，也有一个同样的“妈”。玩笑背后是一个真实的约束：阿拉伯文、希伯来文和印地文字符有时占用两个字节而非一个，如果分词器设计得不够仔细，模型就会进一步偏向英语。Feldman 说，这正是 G42 在意的原因。他们希望反映的是自己文化的细微之处，而不是被 99% 的英语 token 冲淡。

Guo 问，经营一家芯片公司到底是什么感受，哪怕是资金雄厚的创始人，也鲜有机会体验。Feldman 先从结构上解释。风投们钟爱 SaaS，是因为一个成本低廉的原型，就能很快告诉你客户买不买账。芯片则正好相反：你得花上两年、两年半，有时甚至三年，烧掉 5000 万到 6000 万美元才造出第一版，之后才知道大家是爱它还是嫌它。从动手到客户开口，中间隔着一段很长的空档，这种结构性风险是软件公司不必承受的。软件公司到头来也会花掉差不多的钱，只不过洞见来得早得多。

工程管理也完全不同。在一个两三年的项目里，你不可能跑 150 个为期一周的冲刺。芯片公司通常每位开发者配三到四名验证或质量保证工程师，因为一个 bug 就可能造成 2000 万到 3000 万美元的损失。这里没有“我们在 4.1.1 版本里修掉”这回事。严重的 bug 意味着芯片得重新流片（respin）。在工具、质量保证和仿真上的投入，与软件公司相比是另一个数量级。

这并不等于说 Cerebras 是旧意义上的硬件公司。约 75% 的工作是软件。芯片是肌肉，软件是大脑。他们仍然需要运行在硬件之上的底层代码，还需要一套编译工具链，让用户能用 PyTorch 编写程序，并像在 GPU 上一样运行。一家系统公司最终要招募各种不同类型的工程师，而不只是芯片设计师。

Gil 想要一张加速器市场的地图：谁在买？为什么有人会买英伟达以外的产品？Feldman 先向英伟达致敬：英伟达抓住了好时机，做得非常出色。然后话锋一转：用他的话说，英伟达如今在敲诈客户，价格极其昂贵，而且还交不了货。这种组合为所有替代方案打开了门，包括 Cerebras。没有人喜欢依赖某一家供应商。他建议不妨去问问谷歌和 Facebook 的人，在多年依赖英特尔之后感受如何。他们非常反感。真正的张力，就在于这种反感与继续向前的需要之间。

大型企业仍是业务的重要组成部分。对于较小的公司，先提供一点咨询服务，帮助加快模型部署，是打开大门的办法；一旦让他们看到这有多么轻松，订单自然会来。他讲了一个客户的故事：该客户在 GPU 集群上训练，60 天了仍未收敛。Cerebras 把任务搭建起来，三天半后模型就收敛了。客户可以先在内部云上小规模试跑，再决定是否购买。他说，客户群从大型企业、生成式 AI 创业公司，一直延伸到军方、情报部门和超级计算领域。

芯片层面会走向多大程度的专门化？推理与训练，Transformer 与扩散模型，多模态与否？Feldman 把问题归结为计算机体系结构中最古老的几个问题：哪些东西做得专门，哪些东西做得通用，又有哪些东西选择不做好。为 Transformer 设计的电路并非没有代价；每次运行卷积网络时，你都要承担额外的开销，因为闲置的专用逻辑会浪费功耗和面积。Cerebras 并不在那一层做专门化。所有问题都归结为线性代数，而且主要是稀疏线性代数，所以他们把重点放在 Transformer 之下。他确实预计训练和推理会需要不同的芯片。基础的分类任务看起来像训练过程的第一轮；生成式推理则不同，因为在推理时必须保存多得多的信息。用 8 块 H100 来服务一个大模型的人，手上的硬件价值约有 50 万美元。

用他的说法，诀窍在于用通用的方式解决难题，这样你就不必依赖产品经理去猜下一种时髦的层类型。如果这个领域转向了不需要太多数据的单样本学习，英伟达会倒霉，Cerebras 也一样。当前的机器是为数据极其密集、基于 Transformer 的工作而设计的。卷积网络、Transformer、扩散模型，以及尚未发明的东西，还会不断出现；连 20 世纪 80 年代人们写下的想法都还没有被完全走一遍。为某一种模型定制芯片，并不是他偏好的做法。

Feldman 说，供应紧缺来自一条极其僵化的链条。他把台积电的一座晶圆厂比作现代社会的金字塔：一座 200 亿美元的建筑，里面没有人干活，投入的是想法，出来的是一颗 100 美元的芯片。很了不起，却无法说转就转。当有人预测失误，回头要求两三倍的晶圆时，往往要花六到八个月才能理清。问题不只在于华尔街没有料到英伟达会卖出多少；英伟达自己也没料到。你可以向台积电订晶圆，但其中很多已经被分配给了 AMD、高通以及其他巨头。

这种断层之后，预测会更准吗？不会。我们还会在一段时间里继续估错，他认为偏差仍会朝低估的一侧倾斜。市场正在加速；两三年后，它会比任何人现在所想的都大许多倍。另一个难看的动态是，如果你订得太多，照样得全部接收。1000 万美元的晶圆就归你了。英伟达在加密货币热潮中就碰到过这种情况，博通也一样。他还提到，Arista 的交换机交付周期长达 52 周。

随着模型规模扩大，推理成本开始占据主导，Feldman 把规模问题当作一个优化问题，而不是自然规律。越大的模型越难使用，也越难重新训练。GPT-4 发布时，它的知识止步于 2021 年，他把这种滞后归因于模型的庞大规模。准确率与规模相互权衡，规模又与部署成本相互权衡。放射影像文件可能需要更大的模型，客服机器人则可能用更小的。要想清楚模型能带来什么、判断出错的代价，以及部署的成本，然后把它当作一项商业决策。他预测，在第一波“我能做出更大的模型”的热潮之后，经营企业的人会停在 30 亿、60 亿和 130 亿参数的模型上，效果相当不错，又不会在推理上烧光预算。

包括当时刚宣布的 OpenAI 与 Scale 的合作在内，微调将会很重要。人类反馈能让模型变得好得多，这并不让他意外：人们就是这样学会跳舞、踢足球、练体操、芭蕾的，有人说不对，再来一遍。目前还没有人知道微调能走多远，也不清楚谁会受益：是从头训练、持续训练，还是拿现成的模型再加入独特的数据。大型实验室有时认为，真正去训练模型的人寥寥无几。Feldman 则指向那些手握非凡数据集的企业：路透社、彭博社、葛兰素史克、艾伯维……多年积累的研究成果，如今 AI 终于够用了。他说，数据作为一种资产，就是新的黄金。如今很少有人谈，但今后会被高度重视。