GPU 产能为什么是三年一块的矩形 —— Erik Bernhardsson，Modal

Vibhu 欢迎来自 Modal 的 Erik Bernhardsson，请他介绍公司做什么。Erik 的短版说法：他们做 AI 基础设施。Modal 提供计算平台和存储平台，Decagon、Suno、Runway、Cognition 这类公司用它来做 AI 应用。

落到实处，就是大量推理、大量沙箱，有时是训练和微调，有时是批处理作业。客户拿到一套软件 SDK，可以跑得很快；底下的产能由 Modal 管，部署、扩缩容、把这些负载跑到生产环境也更容易。

Vibhu 提到大约两年前 Erik 上过 Latent Space，问现在公司大了多少，能说的数字都可以。Erik 记不清当时的基线，但他认为收入和用户都至少涨了 50 倍。

Vibhu 说自己其实也在用 Modal 做一个把二维图变成三维模型的副项目——就是托管几个模型。Erik 问反馈。Vibhu 喜欢，所以才不用竞品。Vibhu 说，创办 Modal 之前，Erik 在 Spotify，也在 Better.com。

Erik 说没错。在 Spotify 他做过不少事，但主要贡献是音乐推荐系统。大约 2008 或 2009 年毕业后加入，待了七年，大部分时间是和一支小团队从零搭推荐。

他们上线了相关艺人、Discover Weekly 和其他功能——大量矩阵分解，大量吃算力的活。他认为 Modal 的源头，就是做那些 AI 应用时发现基础设施糟透了。一定有更好的办法。Modal 就是他在 Spotify 一直想要的那个工具。

Vibhu 问 Modal 是不是主要从 Spotify 长出来的，而不是 Better.com。Erik 说 Better 是一段旁支行程，过山车一样，他们另外聊过。他当了五年 CTO，技术团队从几个人扩到三四百人。他学会了管理、招聘和开发者效能，也做了更多全栈工作，然后回到基础设施和机器学习，那才更贴近他的心。

Better.com 做房贷。他怎么进了这一行？Erik 不想多停留。当时还不认识的 Zach Frankel，在公司只有十个人时把他招去当 CTO。创始人 Vishal 非常聪明，也有点疯，大多是正面的那种疯；他们合得来。2015 年开始做。房贷后来证明很难做，疫情后利率猛涨，带来不少麻烦——不过 Erik 那时已经走了。

那是大约 2020 或 2021 年。离开时手里已经有 Modal 的想法了吗？很难说。离开 Better 之后他有一堆乱七八糟的点子，也不确定想不想创业。疫情期间他差不多休了一段假，带着两个孩子，当时两岁和四岁，兼职写代码，也考虑过做咨询。他对后来变成 Modal 的那个想法来了劲——但那大概是他做的第三十个东西。前面几次尝试都没走出去。

第一个让他觉得像真正平台的想法，才是 Modal。更早的想法也是开发者工具吗？第一个是某种网页抓取，没走下去——不过事后看来，Erik 说，也许本来可以走下去。那是 2021 年，ChatGPT 还没出来，ChatGPT 是 2022 年底才上线的。

他倒回 Spotify。在那儿他发布过 Luigi，一个开源工作流编排器，和 Airflow、Prefect 同一类——现在这个品类有点过时了，但当时热闹过一阵。他从没把它做成生意。2021 年找事情做，他又回到编排：在云上跑代码。

他意识到核心难题不只是编排算力，而是执行算力。那才是更大的问题。他把调度搁到一边，跟自己说以后再回来，结果再也没回去。Modal 的重心变成让代码在云上跑起来很容易，一开始相当通用。

最近他们又绕回来了，但最初的想法很简单：让在云上跑代码超级容易，GPU 和 AI 负载，或者数据作业都行。他们死磕规模和开发者体验，很早就意识到必须把技术栈挖得很深。他们自建文件系统和容器运行时，啃硬的工程问题。

ChatGPT 还不算杀手级应用。同年秋天 Stable Diffusion 出来了，那才是。当时 Modal 四五个人。突然很多人想跑 Stable Diffusion 模型，他们这才意识到生成式 AI 推理是个非常好的用例。

这些人是怎么找来的？Erik 是强迫性发推的人——公司让他分心之后少了一些——也写了很多博客，所以有一批关注者。早期增长就是他发推讲 Modal、把人煽动起来，再写长文谈云往哪儿走。他称之为创始人主导的营销：往自己擅长的地方靠。他说自己擅长的是发废帖，以及长期泡在网上。现在很多增长仍然来自擅长社交媒体。

第一个客户要等多久，他们很早就融资了吗？等了一阵，融资也等了一阵。Erik 自己掏钱撑过了前几名员工，这让他变得抠门，盯着投资回报。很长时间他没给自己发工资；后来这成了问题，因为他需要那笔钱。种子轮是 2022 年初拿到的，大约干了一年之后。

Akshat Bubna 大约 2021 年 8 月加入，担任 CTO 兼联合创始人，距这次谈话大约五年。有分量的收入直到 2022 年底才出现。关键是 Stable Diffusion。他们从 2022 年 11 月大约每月 100 美元，到下个月大约 2000 美元，再到 2023 年 1 月大约 3 万美元。Erik 觉得巨大的焦虑卸下来了：也许他们摸到门了。从那以后一直涨得很快。

那每月 3 万美元的时刻，是几个大客户还是一大片小客户？是一家。Erik 不确定自己有没有点过名，也不确定对方知不知道，但他觉得他们心里有数：纽约一家做 Stable Diffusion 的公司，叫 Mage。2023 年第一季度他们占收入的八成或九成。后来分散开了。2023 年底 Suno 成了大客户，有一阵占了很大一块收入。时间久了，分散程度好得多。

Vibhu 记得自己用 Modal 跑过 ComfyUI，猜想很多人在上面跑 ComfyUI 工作流。Erik 说有一些，但 Modal 用户往往更底层：自定义工作流、适配器、自己的推理、大量优化。Modal 一直相当可折腾。他们为开发者体验做的那些工作，后来对生产也有用，因为自动扩缩是同类问题：非常快地把容器拉起再拆掉。他们因此处在能接住那些早期负载的位置。

自动扩缩的工具当时不存在吗？为什么要自己做？Erik 的论点是，每一轮新技术都会撞上上一轮工具的极限——网页、云、移动、PC，现在是 AI。工具是有的，但往往不够好。要真正给新世界加速，就得重新想一遍。云需要 Kubernetes 和 Docker。生成式 AI 可以建在上一代之上，但那些系统是为另一种负载建的。

它们是为平稳的后端服务建的：请求量均匀，利用率相当低，因为 CPU 便宜，人们不太担心成本。现在 GPU 很贵，你就会在意产能和利用率。模型很大，必须经网络加载到 GPU 上。旧工具不是为这个建的。Modal 觉得必须重建一大块，而不是把旧栈包一层。

除了文件系统，他们还花了几年做 CPU 快照、GPU 快照、自动扩缩器、调度器和产能管理工具。这一代软件不能做成上一代的包装。某种程度上你得重来。

扩规模时有没有看到奇怪的行为或故障？产能时不时是个挑战：怎么拿到几百张、然后几千张、然后几万张 GPU？他们很早就得做多区域，事后看是个命运攸关的决定。他们一直把产能当成全世界一个大池子，而不是每个区域各自一簇。那是早期更有后果的选择之一。

没有哪一次卡通式的事故——他们有过 bug 和宕机，Erik 巴不得 100% 在线。最近他们基本上到了四个九或五个九，但纵观 Modal 的历史，他们撞过扩规模的问题。Vibhu 转到 GPU 市场：他们用不用 AWS、GCP 和其他超大规模云，会不会也自己买基础设施？

Erik 想谈云产能，因为变化很大。头几年几乎全部来自超大规模云，大多是竞价实例，一些按需，分布在许多区域。他们从 AWS 起步，加上 GCP，后来还有 Azure。很早就向 Oracle 租机器，因为他们想要 A10 和 A100，拿到了很好的价格。后来加了更多云，也做了一些预留。直到去年年底，大部分产能仍是竞价实例，或者一年期预留。

竞价意味着你当场租、可抢占，他们必须应付这个。总体能转，因为他们能从几百个区域抽产能。这套模式一直管用，直到两件事同时发生：Modal 自己涨得很快、需要更多 GPU，云市场本身也变了。

过去一年，为了拿到需要的产能，他们必须跟大得多的一群云合作——此刻差不多 25 家。很多情况下，要拿到想要的东西，就得签三年以上的协议，先付一笔可观的钱，再把价格锁在三年期限上。过去六到九个月，他们一直在重新想怎么拿产能。

他们不得不建一个采购台：大约四个人全职工作，给 neocloud 打电话、谈交易、核产能。还建了一支大约十人的工程团队，专门管全世界的裸金属——网络问题、坏盘、GPU 从总线上掉下来。他们仍然不拥有产能。他们租，通常就是那些三年协议。买还是继续租，是正在做的决定。

Erik 并不特别教条。租用更省资本，也避开供应商、电力和线缆那摊运营混乱。买也有财务上的复杂：融股权拿去买硬件，稀释得很厉害；或者举债，债通常要求锁死的长期收入来覆盖利息。他们看经济账、运营负担和风险。他们愿意买。把 2027 年的产能锁住，会花很多功夫，走很多路。

那是不是意味着要招很多财务的人？不完全是，不过 Erik 自己已经花了很多时间在这上面。这些资产非常贵。AI 投资开始看起来像美国 GDP 的好几个百分点，最近几周他还看着美国利率往上蹿。看看那些 neocloud：他们是非常老练的金融工程公司。Modal 也许得做类似的事。

他更愿意继续做一家精干的软件公司，做自己擅长的事。总体来说他不认为软件公司该拥有重资产，就像不该拥有自己的办公室。但要拿到想要的产能，什么都可以摆上桌。

Vibhu 说供给会紧一段时间，所以他们某种程度上必须这么做。Erik 同意吗，还是这只是一时？他不一定同意。NVIDIA 每个月在交付几十万张 Blackwell。市场并非完全有效，但如果你愿意出得比别人高，就能拿到 GPU。Anthropic 和 OpenAI 能买多少买多少。供给不断进入市场。它不是一种可以彻底囤死的资源。

价格在涨，这值得停下来想一想，因为硬件的常态是重力：价格最终会往下走。这是一段硬件涨价的怪时期。可能再持续六个月，也可能再持续 36 个月。他不买必须自己拥有产能那一套——听起来有点像疫情时抢卫生纸。产能会紧一段时间，价格在涨。幸运的是，这对 Modal 甚至不一定是坏事。

短缺意味着他们可以向客户收得更贵，而预留已经按某个费率锁死，他们实际上已经做多了 GPU 价格。他不太担心价格上涨。他更担心价格崩盘。他不觉得很快会发生，但真发生的话，对很多玩家会相当糟。

为什么价格下跌会糟糕？因为谁锁了大量供给，就是付贵了。存在买在顶部的风险。硬件价格从很长的时间看往往会跌，所以值得记着这一点。眼下紧缺的产能会带来稀缺租金。大部分进了 NVIDIA；一部分进了 neocloud，以及任何拥有产能的人。眼下那些更好的经济账无可否认。

长期他没那么确定。拥有 GPU 总会有一点溢价，但值不值得把非常贵的资产放在资产负债表上？几年后再看。他们可能一部分自有、一部分租、做合资、做复杂的 SPV——什么都可以摆上桌。

如果那些实验室恨不得把所有 GPU 都买走，他们怎么跟 OpenAI 和 Anthropic 抢？他们确实在买。这也是价格上涨的一部分原因。NVIDIA 也在大量出货，Erik 觉得 NVIDIA 更喜欢一点点分散：不要少数几个超级买家。超大规模云已经拿到受限的配额。他认为 NVIDIA 乐见 neocloud 和替代云拿到更多芯片。

再多一点推测：更小、稍有风险的云，对 Modal 是机会。他的感觉是，Anthropic 和 OpenAI 更愿意从经过考验的地方买，部分因为训练需要非常大的整块。其他产能有的是。你可以在亚美尼亚拿到 32 个节点，在印度尼西亚拿到 128 个节点。Modal 喜欢这个。他们会去全世界收更小的池子，价格相当不错。

如果有人提供 GPU，他们只关心这个，还是会担心那是个破仓库？有时感觉确实像破仓库。他们给供应商发规格表：IOPS、CPU PassMark 下限、南北向带宽、出站和入站。他们尽量做一段验收期，先上一台节点，再持续跑测试。跟一个还没完全摸清的供应商签几千万或上亿美元，仍然需要一次信任的跳跃。

时间久了，他们会做出类似 SemiAnalysis 的 ClusterMAX 的东西，一个内部的 Modal-max 分数。Erik 知道自己喜欢哪些供应商。他们更愿意跟一直靠得住的多做交易——不只是在线率：支持响应快不快、Modal 提的要求他们改不改、出事之后恢复有多快。

Vibhu 问对智能的需求是不是基本上无限，如果是，为什么不尽量多买产能，多出来的再转卖。Erik 说资源紧缺时这话好说。如果他们今天把能买的都买了，用不完——能用掉很多，但不是全部。Vibhu 说剩下的可以卖掉。挑战在于相关性：如果价格跌、利用率也跌，转卖市场同时消失，你就套住了。

他在买产能、为买产能融资这件事上极度进取。总体他非常看多。他仍然想指出尾部风险，而风险一旦砸下来会非常糟。一部分是年纪：他第一份工作是 1999 年，所以他见过互联网泡沫破裂，后来还有金融危机。他想要一家还能再活 20、30、50 年的公司。他们可以试着囤积市场。Vibhu 知道 Hunt 兄弟吗？他们试图囤白银，败得相当壮观。囤积通常不是好主意。

他们仍然非常进取，按匹配需求增长、以及明年年底想达到的年化跑速在往上爬。他们只买 NVIDIA，还是也看其他加速器？他们在看。替代加速器开始变得有意思。讽刺的是，连续五年甚至十年，他每年都说明年会是非 NVIDIA 硅片之年，每年都错。他觉得 2027 也许终于是那一年。再看他会不会又错。

某些负载上的分数已经非常好。TPU 在 Google 内部用得很广，看起来效果不错；训练那一侧他了解得没那么多。硬件难，软件容易，这让他觉得：如果这些加速器的软件层修好了，需求会跟上来。NVIDIA 是瓶颈，所以替代品可能会更多——不过再往下，TSMC 和 ASML 也许是更深的瓶颈。

长期看，垄断并不总是持续。市场更多样会更健康。他想说清楚他爱 NVIDIA：那是一家了不起的公司，产品也了不起。他仍然预期会有更多样，包括 Cerebras 和 Groq 这类名字。

他怎么看这些提供商？相当令人兴奋，在某些负载上做得非常好。有一种有意思的混合、解耦推理：预填充用 NVIDIA，解码用 Cerebras。Vibhu 没听说过这个。Groq 也是，因为有些阶段受计算限制，有些受内存限制，所以可以混搭。落地部署会非常复杂，但他认为这些更复杂的硬件组合里机会很大。

从 Nebius 这类 neocloud 能学到什么？有意思的问题是他们怎么扩得这么快。最疯狂的例子是 Nscale，几乎没有产能，却从默默无闻到管线里有几千亿美元。怎么做到的？他们去找大买家——Anthropic、OpenAI——问要不要按好价格买五年芯片。拿着那份合同去华尔街：看，有一个承诺了 100 亿美元的买家，我们只差钱。然后去 Super Micro、Dell、NVIDIA 拿硬件，装上，交付。

这是一套漂亮的金融结构：还没买的东西先预售出去，就能扩得极快。CoreWeave 和那些大 neocloud 就是这么干的。他们非常会融资，把 GPU 当抵押品。Modal 一直更偏产品驱动，没那么容易用同样的方式锁长期合同，所以财务上更难扩得那么快，尽管 Erik 觉得长期他们会走到同一个地方。

Vibhu 问起把 GPU 做成一种资产类别——他觉得 NVIDIA 好像说过类似的话。Erik 指向 Silicon Data、Compute Exchange 以及其他试图做价格指数、指数和衍生品的创业公司。这很有意思。算力不像其他资产类别那么同质：不同的网络、地点、磁盘、CPU、可靠性。不过话说回来，石油当年人们也这么说，后来有了可交易的品级。AI 数据中心到了这个规模，他们确实需要更聪明的风险对冲、风险分担和保险。他高兴有人在想这件事。他不确定 GPU 会不会变成 Henry Hub 或布伦特原油。

Vibhu 想转到 Modal 沙箱，然后又退一步：产品都有哪些？GPU、沙箱，还有别的吗？Erik 按两大产品来想。第一是 Modal Functions，2021 年上线：容易部署、容易扩缩的无服务器函数，产能由 Modal 管。结果这对推理、对管 GPU 都非常好。他们从来没有专门的推理 SKU，也没有所谓的 GPU 产品。他们从没把自己当成 neocloud，他认为有被吸过去的风险——去卖一块三年的 GPU 矩形。

Modal 一直擅长部署再扩缩：周期性的、突发的负载，产能替你管。因为有好几千客户，他们能把这些聚合成非常平滑的需求，跑得很高效。Functions 是核心。产品市场契合出现在 2023 年。Functions 现在大约占收入的三分之二，实际大多是推理，不过也可以用来做各种各样的其他活。

Modal Sandboxes 2023 年上线，和 Functions 一样，花了一段时间才找到产品市场契合。为什么要做？Erik 和 Akshat 午饭时聊。他们认识的很多人在用大语言模型吐代码。也许那些人需要一个地方来跑。Modal 已经有原语：容器、隔离、gVisor。Akshat 写了个原型，一两天就上线了。

增长接近于零。Erik 不想把这说得太轻——早期有用户喜欢它做某些事——但到 2023 年夏天，它仍是相当无足轻重的收入来源。两年后他们甚至讨论过关掉这个产品。然后它爆发了。

变化在于大语言模型生成代码变得非常强：从重构函数、写片段，到生成完整应用。增长来自 Lovable 这类 vibe coding 公司，然后是 Ramp 这类用 Modal 跑后台智能体的公司，再然后是在 Modal 沙箱上做强化学习的新实验室。沙箱现在大约占收入的三分之一，成了第二个产品。

这让 Erik 兴奋，因为即使在早期他就希望 Modal 是一整套工具箱——存储、计算、不同的用法，几乎就是一朵云。他们一直想做多产品厂商。直到现在这才在实践中成立。他们有 Functions 和沙箱，还在做训练、批处理和其他块。这种演进写在早期的演示文稿里。外界最近才看得见。

Vibhu 问手头有没有看起来像下一个产品的东西，或者对市场的预测。Erik 非常看好训练。这块服务不足。所有人都盯着超大训练；Modal 在中小规模这一段看到很多需求。这周晚些时候他们办的一场会上，他会再多讲。批处理也很有意思。前几天有个客户要把 5000 年的音频转成文字——几百万个文件。Modal 有产能；花了几天。

他也看好低延迟。一旦语音到语音和语音模型真正跑通，那会是一个非常有意思的市场。然后是所有智能体相关的东西。他对这个词心情复杂：某种意义上所有软件都会变成智能体式的，或者至少是 AI 驱动的。不过跨用例来看，给大语言模型驱动的软件，仍有一套共同的积木。

他把 Modal 想成做积木的生意：可泛化、经过实战、可组合。智能体这一侧也有有意思的工作。Vibhu 提到一两年前另一档播客里 Erik 说过他们不聚焦训练。什么变了？他们断断续续做训练产品已经好几年。他们从来不是不聚焦。一两年前工程师远少于今天的 150 人，所以推理必须是唯一焦点。现在更大了，可以下别的注。

他也对训练后处理和强化学习感兴趣，还有存储、数据仓库、特征存储、实时流处理管线。长期看法是：你想做点酷的 AI 东西，Modal 有积木，他们会帮你拼起来。这就是软件的美妙之处，也是他想建的公司。

他说训练，是要去做超大训练的企业吗？不是。那些客户会跟超大规模云或 neocloud 签十万张 GPU 的超级大单。服务不足的市场是来回迭代的研究者、训练较小模型的人、语音合成和语音识别、计算生物技术——他们已经看到很多需求的市场——推荐系统、传统机器学习。你不需要十万张 GPU。把训练集群搭起来仍然非常难。

他有没有注意到人们在微调 GLM 5.2 或 Kimi 2.5 这类模型？要说有，他看到的是相反方向。几年前的说法是开源模型还不够好，但在你的领域上微调一个小模型，质量和成本都能摸到前沿。今天开源模型已经好到可以直接换上去：Kimi K3、DeepSeek 4.1、GLM 5.3，几乎赶上前沿，成本却低得多。

他们仍然看到大量训练后处理的需求，也在做这块的产品，监督微调（SFT）和强化学习都有。微调不再是你某种程度上必须做的事。它是可选的。开源模型开箱也能跑得非常好。

回到沙箱：他们必须更新哪些现有沙箱做不到的东西？其实没多少。他们是基础设施极客，擅长规模和可靠性，Erik 觉得这就是他们在这个领域市占远超别人的原因——他没有数字——跑着几十万甚至上百万个沙箱。为了撑住这个规模，他们不得不把系统重写过好几遍。他们一直擅长这个。

沙箱这个领域差异化并不最大。后来他们加了虚拟机：产品原来跑在 gVisor 上，现在也提供完整虚拟机，因为有些用例需要完整的 Linux 兼容。他们做了更好的原语来来回回传数据、操作文件系统，还有大量快照。长期真正拉开差距的，会是分叉、快照、恢复快照、热迁移。

沙箱的新意在于短暂性：拉起一个，只用几秒钟。这是他想拉的那根线。把智能体和 harness 从沙箱上解耦。让智能体控制许多沙箱，分叉、打快照，也许一条命令一个沙箱。他们已经在快照上花了很多时间。还有更多要做。

Vibhu 问快照到底给你什么。今天很多沙箱负载是搬迁式的：我有一台开发机，把它塞进云里，一个智能体控制它，也许 harness 就跑在里面。Erik 不认为那是智能体算力的长期模型。更好的图景是长期运行的智能体，看起来像持久执行的工作流，全天候跑，偶尔打出命令。

如果你能在 100 毫秒拉起一个沙箱，跑几条命令，关掉再打快照，这个醒睡循环越快，就越能拥有只活一小段时间的沙箱。算力因此更高效。它也让你能分叉、把活挪来挪去，把 Claude Code 想成不是一条线性流，而是几百个智能体同时分叉。

CI 是那个说明性的例子。GitHub Actions 历史上大部分时候是顺序流：慢慢装一堆东西，跑测试套件，生成报告。可以分片，但很烦。Erik 想要的是把整套测试拿过来，每一项测试各跑在自己的沙箱里——用一千个沙箱把它并行到死。

为什么还做不到？启动和关掉沙箱的开销太大。这件事越无摩擦，你就越能得到极度突发、大规模的并行。他是基础设施极客；他为这个兴奋。原语一旦对了，就能解锁以前建不出来的软件。

为什么这还没做出来？人们一直想把 CI 并行化。可以，但开销就是 Amdahl 定律。Modal 自己的测试套件也按 GitHub Actions 的方式并行：把套件劈成两半，每一片仍然要做全部安装和准备。那可能要几分钟。如果准备只做一次，给容器打快照，克隆出去再各自跑测试，你就能拿到在交易成本降下来之前兑现不了的好处。

Vibhu 提到一项合作：Anthropic 用 Modal 沙箱。Erik 说是的——Anthropic 那些托管智能体，有自带沙箱的集成。那些可以用 Modal。怎么做成的？Anthropic 想做一个兴旺的生态。他们靠推理赚钱。尽可能推动其他一切的生态，对他们有利，只要你用 Anthropic 做推理。跟 Modal 作为沙箱提供商合作是理性的。

Vibhu 问 Erik 愿不愿意谈 Hugging Face 那件事。他愿意；都已经公开了。他们用的是 Modal 沙箱，但不是沙箱的错。Erik 记不清这次利用的每个细节。利用 Hugging Face 的智能体，在一个部署在 Modal 上的应用里找到漏洞，据他理解，把它当跳板拿到了完整的互联网访问。

说清楚：被黑的是跑在 Modal 上的一个应用，不是 Modal。很多人在 AWS 上跑东西；那些应用偶尔也会被黑。那不意味着 AWS 被黑了。Modal 上众多应用里的一个被黑了。仍然有教训。他们一直在问，能不能默认加上更合理的安全限制。

他用 S3 打比方。以前把桶设成公开非常容易。那其实不是 AWS 的安全问题，但客户不断泄露数据，于是 S3 把公开桶变得难得多。类似地，Modal 在探索能不能让安全默认更收紧一点，又不毁掉让产品好用的那种魔力。

另一条线：智能体在网络安全上变得非常强。作为那次事件的教训，Modal 开始在内部用智能体找漏洞。到目前为止他们什么都没找到，但它们很擅长探测系统深处，试图利用、提权、逃出沙箱。团队正在积极探索这件事。

他们怎么让智能体过一遍代码库——就是一句“去找安全漏洞”？不完全是。他们把智能体放进沙箱，让它们试着逃出去。密室逃脱，但是给智能体的。几个月前开始的，大约 Fable 出来的时候。Erik 的看法是，智能体非常擅长找漏洞，你也可以用它们做防守。几乎每一家认真的店都在想同一件事。时间拉长他并不那么紧张。要说的话，这些突破会让世界更安全。

那些大型网络安全公司是不是直接完蛋了？这远远超出他的核心专长。他们卖的很大一部分是恐惧——品牌和营销不亚于产品。到了 AI 时代，品牌也许更值钱。他不会跳到“完蛋了”。他们有很深的企业关系、庞大的销售团队，而且非常擅长讲吓人的故事。

Vibhu 这么问，是因为 Modal 自己在做这件事，而不是去雇 Palo Alto Networks。也许只有巨型企业才在乎，出了事他们要有人可以怪。Erik 说这是真的。你雇一家成名的供应商，一部分就是为了能怪他们。智能体也许会降低创业公司需要人工渗透测试的频率——也许从每六个月一次变成一年一次。他不知道。带着 AI 的人更强。也许你请来的渗透测试员非常会用智能体，能更快找到问题。他是乐观派。他开了一家公司。他不认为人类或那些公司完蛋了。

Vibhu 想谈开发者体验。Modal 一直盯着这块。DX 还重要吗？Erik 觉得仍然重要。隐含的问题是智能体：文档已经在那儿，智能体会去读。落到实处，几乎所有让开发者体验变好的东西，也让智能体体验变好：好文档、描述清楚的报错、快反馈循环。有些东西变了。

前几天他在配 Cloudflare 的东西，他觉得出了名地烦。他扔了一个智能体过去，它配了一堆东西，把他拖过去了。智能体确实让以前痛苦的事好办了一点。跟人耗 YAML 的代价下降了，因为你可以让智能体去耗。不过大体上，好的 DX 仍然是好的智能体体验。

基础设施长期也需要更可编程。这一直是沙箱的论点：以前用 YAML 配的东西，应该变成 SDK——拉起一个沙箱，做事，再拆掉，命令式，而不是声明式的 DSL。SDK 和以往一样相关，甚至更相关。

因为现在大多数人在上面跑智能体，他们改过产品吗？他们跑大量内部测试，让智能体去建一个 Modal 应用并跑起来。一个具体而好笑的发现：因为智能体的训练数据，废弃功能非常难。智能体热爱旧版 Modal 语法，很难把它们推开。过去一年他们不得不在拿掉功能上更保守，并小心更新外面每一个示例，再加上 skills。

网上现在也有海量 Modal 代码进入训练数据。类似 SEO，有所谓的智能体引擎优化，或者人们怎么叫都行。他们跑内部基准：让一个智能体用它想用的任何工具部署 Stable Diffusion，看它会不会推荐 Modal。或者拉起沙箱。或者给沙箱厂商排名。他们跟踪这个随时间怎么变。

如果它不推荐 Modal，你怎么办？更难。像 SEO 一样，主要是内容：你得往外放很多。你也可以探测观感：按可靠性或按价格给沙箱厂商排名。智能体似乎容易误解定价，所以他们花时间把内容写得更清楚、更好懂，因为那些系统会索引关于 Modal 的一切说法。

他有没有想过做一堆 GitHub 仓库，让智能体往里面写 Modal 代码——一门 slop 大炮？大概可以。他猜今天的训练数据对内容当初是不是 AI 生成相当不敏感，所以你可以制造大量垃圾。他们想过。他不喜欢这个主意。理论上，像早期 SEO 里自动生成的内容一样，它可能有效。

Vibhu 转到前线工程师（FDE）。Modal 招这些人。他们做什么？我们处在一个几年前还建不出来的应用的新时代，很多公司需要帮助。Modal 两年前开始投入 FDE，今年真正扩起来：年初大约四人，到差不多 24 人。不完全是 Palantir 那套。他们做很重的客户贴身工作。

他们跟客户坐在一起做性能调优，尤其是大语言模型——训练草稿模型、拧参数、vLLM 和 SGLang。客户碰到问题，他们帮着绕过去。他们也盯着过度配置：CPU 或内存太多，那很贵。他们会坐下来说，你在 Modal 上花了很多钱，我们可以帮你省。正在谈的单子上，他们帮人从其他平台迁代码。

他们从没打算变成一家服务很重的生意。Erik 给 FDE 的目标排序：A，销售流程和关单的一部分；B，服务客户，一种支持；C，最重要的，补上产品缺口，日后要做成真正的功能。FDE 做的任何事，他的问题都是：长期怎么把它变成产品，让我们不再需要为此配一个 FDE？

他们招产品经理吗？产品经理？不招。FDE 算某种伪产品经理吗？那是另一种职能。面向客户那一侧有重叠。向内那一侧，产品管理更像：Modal 该投哪些积木？中间是看十个或二十个客户要的东西略有不同，找出那个模式。他们确实有人在做产品。有些来自 DevRel 或工程，表现出很强的战略思考能力，想清楚该建什么。

他并不反感产品管理。他确实觉得很多公司招 PM 招得太急。有些产品看得出来：急切的经理想出小部件一样的东西，然后上线。在基础设施公司把产品做好非常难。需要对基础积木、对未来一到两年想站在哪儿做很深的战略思考，因为基础设施建得慢。你不想要 35 个差不多、又各自略有不同的功能。那种思考很少见，所以他们还没有急着建一支产品经理团队。

生成式 AI 以来团队怎么演变——Erik 在 Spotify 见过某种结构？说起来有点好笑，是的，结构变了很多，但他不确信是生成式 AI 驱动的。他看到的是摆回个人贡献者，他认为这非常正面。一二十年前人人想进管理，因为钱、认可和声望都从那儿来。这种转变在生成式 AI 之前就开始了，又被它大力加速。

在 Modal 他们说得很清楚：经理还是个人贡献者，声望没有差别。人人都是技术员工。看的是贡献。他们看到很多前经理变成个人贡献者，因为想回去写代码。非技术经理在减少。所有人，包括 Erik，仍然写很多代码；Akshat 也是；几乎整个技术团队，很多不在技术团队的人也还在写代码。生成式 AI 让写代码更便宜了，这加速了这一点。

如果非技术人员也在提交代码，他们怎么审？他们做代码审查，但把审查当成可选项。Erik 的看法是，很多情况下人们用审查来逃避合并进生产的责任。如果文化是那样，你就得在 CI 和 CD 上多投很多。他自己写代码时，偶尔会问作者这是否符合他们的想法，也希望自己没有改架构。内部他们说得很清楚：审查相当可选。

如果你在改文档，或者做点基础的事，别等人——尤其在 AI 时代。为什么每块代码都需要人看？不需要。那确实要求非常好的内部控制和测试。基础设施公司比普通创业公司多要一个九。你必须建有韧性的系统：到处都有限流、解耦的系统、没有单点故障、极好的测试覆盖。

智能体现在其实非常擅长写测试。几年前他觉得那是个大缺口，因为好测试要求你从正在做的事里抽身，稍微唱唱反调。现在它们在这点上也相当强。他们写代码用前沿模型，还是试过开源？什么都试。大量 Cursor，当然还有 Claude 和 Codex，现在也有很多人用 Night Shift 和其他开源栈。他没有强烈立场。他希望大家去试。

他们现在更努力内部自用，因为他们给很多开源模型跑大规模推理。用内部端点做智能体开发有帮助，所以他们尽量推动这个。Vibhu 一两年前读到 Erik 觉得不会有很大的本地部署生意。他改主意了吗？没有。对 Modal 来说，他是云至上主义者。

他退一步说。云在 2008 或 2009 年来的时候，他第一反应是这太疯了：为什么要把代码跑在别人的电脑上？六个月后他就这么干了。企业又花了 15 到 20 年。看看 Snowflake、AWS、Datadog：云显然在赢，多租户系统显然在赢。本地部署看起来越来越像过时的商业模式。

对他来说，BYOC 和 VPC 对等反映的是过时的安全模型：把一切护在自己的网络里，网络当护城河。那已经不成立了。行业已经走到零信任这类更扎实的范式。从那个安全角度看，BYOC 看起来越来越过时。

从 Modal 的角度看，对技术栈的完全控制——他们租硬件、部署、管每台主机的健康和指标——意味着他们能迭代得非常快。这很值钱。那些必须把企业版装进客户环境的厂商，得仔细想发布管理。Modal 不用。想引进一个新数据库，就可以，因为他们掌控它。不必想客户能用到什么。多租户的好处太多了。

话虽如此，如果一家非常大的财富 500 强客户要 BYOC，他们过去做过这个：给他们一个数。那个数非常高，到目前没人说好。价格对了，他仍然会去做。另外，BYOC 也许是跟那些已经握着大量产能预留的新实验室合作的办法。他们已经有 GPU，怎么让他们跑 Modal？BYOC 也许是个解法：控制面留在 Modal 的环境里。

反过来，他们也许甚至能在那份产能上跑别人的负载，把它聚合成一个大池子。他对其中一些想法感到兴奋。总体来说他不知道他们会不会做本地部署。BYOC，也许——自带云。

假设他们很快再融很多钱，会用来做什么？产能这件事。所需现金流很大一块是产能预付款。这是今天现金最好的用途。他们非常进取地往上爬产能。也许以后会进入自有或其他部署模式，但总会有现金这一块：首付款或预付款。眼下这是现金最大的用途。工资和办公室也有，但放进整盘财务里，基本上是舍入误差。

这会变吗？他觉得不会。经营杠杆有点疯。他们有 200 名员工，很费钱，但 GPU 费得更多。如果要他点出眼下最大的三件事：第一，产能和财务上的复杂——定价和包装、自有还是租用的张力、更往 neocloud 走还是相反、那个对位。那大概是他想得最多的事。

第二是产品策略：下一批积木是什么？如果他们做更多智能体相关的东西，未来几年世界一早醒来会发现自己需要哪些存储或计算原语？理想情况是 Modal 已经有了。他们在预判需求上做得相当好——先是无服务器函数，然后是沙箱——提前建出来。下一件是什么？

第三是文化和公司建设。他们最近越过 200 人，涨得极快；年底大概会到 250。到了那个规模，人人都在想自己怎样对 Modal 最有价值。他们需要正确的上下文、正确的动机、因为能建酷的东西而想来上班的兴奋，以及对什么让 Modal 成功的清楚感觉。隐含的信任，让人可以做很多；再加上交付的问责——做不到也要被问责。

10 人、20 人、30 人的时候，你可以坐在一间屋子里感觉到。人们能读懂 Erik：能看出他烦的时候、高兴的时候。到了 250 人，人们不一定看得见，很多新员工跟 CEO 说话还有点紧张。他怎么保持可接近？Dunbar 数与其说是精确数字，不如说是个寓言，但 150 到 200 附近仍然是真的。在那儿打下文化的地基非常重要。

接下来一年他们想招多少人？过去 12 个月按年化大约涨了 4 倍。相对而言这不可持续。每年把团队翻一倍并不特别难。到了 4 倍，你会开始看到文化漂移、不同工作方式的孤岛、有人在做非常投机的事。Erik 在工程里盯这个：你跟某个人聊，发现他在做边缘的东西。那真的是他们该花时间的事吗？

涨得快有代价，包括把人带上手。今年年底也许 250；明年年底他们会继续涨，也许 2.5 倍或 3 倍。很可能落到大约 700 人。大多数是工程师。销售也在大幅往上爬。

什么样的工程师？主要是系统工程师。他们一直深耕 Linux、文件系统、可扩展系统、网络和云。那是核心。他们也往上走到了大语言模型推理这一层，所以现在要对付 CUDA、GPU、MFU，把每张 GPU 的 token 榨到最大。其中很多仍然是系统活：KV 缓存和路由是系统问题。再加上更多 GPU 性能工作。

他们开始建研究团队，走进训练后处理、蒸馏和更好的量化方法——给客户，也给内部，两边都有。有点像 FDE。一开始他们会跟客户做很多模型优化；时间久了这些必须变成产品。如果每一次优化都需要一个人坐在客户旁边，他们在某种意义上就失败了。同一套模式：先做客户工作，再做成内部工具和自助产品。眼下训练后处理和 GPU 性能上有很多活。

回到产品策略：未来一两年我们需要什么？这极难说，如果他声称自己确切知道，那就是在幻想。他在一般层面上相信的是，我们需要更好的积木。这是软件的新时代，解锁几年前建不出来的应用——大语言模型吐出必须在隔离环境里跑的代码，给 GPU 和语言模型的新原语。

他们建过其中一些积木，那已经解锁了世界看见的应用，不只是在 Modal 上。未来几年还会有很多。他看好训练、看好快作业、看好智能体和低延迟。到头来他们自认为是一家基础设施店。他们不试图做窄的东西。他们试图做通用积木，放到客户面前，让客户把它们组合成 Modal 永远预料不到的应用。

Vibhu 想用 Erik 的一些推文收尾，Erik 可以点开任何一条细讲。第一条：今天很多长期持续的沙箱用法，感觉像搬迁。Erik 猜想沙箱会从“开发机进云”演变成更短暂的东西——一条命令一个环境——加上快照，于是你可以暂停、恢复、克隆。他们已经谈过很多。

今天 Modal 上沙箱的中位寿命大约八秒，这有点不可思议。时间久了也许还会更短。他们也想支持长期运行的沙箱；那些是正当的。他的愿景是世界还需要大规模并行，这意味着降低启动和关掉的开销。

Vibhu 读了另一条关于竞争对手军备竞赛的推文；Erik 没有评论。然后是核心那条：GPU 稀缺最大的坏处，不是 GPU 难买。而是几乎所有产能都按三年矩形来卖，还要从三到六个月后才开始。对大多数用户来说，需求不是那个样子。

Modal 一直非常擅长的一件事，是完全按需的产能。如果客户需要 100 张 GPU，他们通常能立刻拿到，不用跟销售说话。真实负载不是平的矩形。它们在 24 小时周期里忽高忽低，随时间增长，有突发期。这对这个领域是个真问题：拿到产能的主流方式仍然是那些矩形块。不太好。

他有偏见，但这就是为什么他认为 Modal 能在他所谓的期限转换里扮演大角色：提供更灵活的产能。他们做得到，因为聚合了好几千客户，需求加总后变得非常平滑。这是价值主张里很大一块。算不算差异化？他说，巨大。

如果你愿意简化，Modal 的价值主张是两件事。一是开发者体验：迭代和构建，不用想基础设施。二是产能。他越想长期，就越觉得是把全世界的算力聚合起来，切得非常细——他们为了极快地扩上去再缩下来所做的工作，GPU 快照，把那件事做得更快。这个模型在大规模上非常管用，因为你可以把很多客户池化在一起。

另一条推文：他每个月都说沙箱收入也许会见顶，然后它继续涨 30%。有点疯。每个月他都觉得他们涨了很多、该平了，然后又涨。VC 问他怎么知道沙箱会做大。真相是他并不知道——他以为会比 2023 年的实际更大，但占收入三分之一已经离谱。他们为此高兴，也有一支大团队在做。他会给自己记一笔：2023 年看见了点什么。他绝不会押市场会这么大。

下一条推文：有结构性的理由，推理服务商应该和模型厂商分开存在。最好的模型一直在变，推理服务商可以在它们之间重新分配 GPU，因为总体需求相当平滑。每次一家中国实验室——也希望更多美国实验室——放出新的开源模型，你都会看到需求大挪移。如果每个实验室自己握着产能，上线时需求冲高，下一实验室赢了又掉下去。后台他们已经在训练下一版。

需求是黏的——模型、提示词，以及其他——所以不会一夜之间全搬走。不过 Modal 可以今天在一个模型上跑几千张 GPU，明天把 50% 切到另一个。没有人需要告诉系统。它就是为这个建的。Vibhu 问这是否意味着大语言模型是大宗商品，如果是，那些大实验室的生意在哪儿。Erik 不确定能推出这个结论。Taylor Swift 是大宗商品吗？她出一张专辑、巡演、赚很多钱，然后有一年安静做下一张，再出一张。她仍然有品牌和利润率。

只要实验室能不断推出新模型，而这些模型的利润率能覆盖摊销后的训练成本，这仍然可以是一门像样的生意。他觉得智能在见顶吗？不。还有待观察。模型非常擅长那些能用强化学习高效训练的事：编程，从片段到生产级代码，数学，网络安全——可验证的领域。它们会不会擅长做饭，或任何目标弥散、反馈很长的事，就不那么清楚。人类在那些地方会长时间保持竞争力。AI 模型仍在变得非常强，这一点大家都能同意。

Vibhu 问，既然模型在编程上已经这么强，哪些现在还不大的应用会变得很大。Erik 对语言模型总体上不知道，但任何带可验证循环的东西。计算生物学：不完全可验证，但你可以让大语言模型输出预测，再跑分子动力学模拟来给反馈。材料科学类似：合成、测性质，把智能体放进循环。他有物理学背景；他为此兴奋。药、材料——他一时想不起还有什么，但他肯定还有很多。Vibhu 要问的就这些。Erik 说很好；非常有意思。他们互相致谢。