Modal 的 Erik Bernhardsson 谈 GPU 供应、推理与智能体

在这场 2026 年 10 月的访谈中，Modal 联合创始人兼 CEO Erik Bernhardsson 与 Redpoint 投资人 Patrick Chase、Jacob Effron 讨论 GPU 采购、推理和智能体基础设施。Redpoint 投资了 Modal，节目中的商业数据和市场预测均为受访者自己的说法。

Bernhardsson 说仍然可以找到算力，有时要接受更高价格或更长期限。他描述了一个分散的供应商网络，不同供应商的硬件、网络、地理位置和可靠性各不相同。

Modal 从无服务器计算起步，早期需求来自图像生成。Bernhardsson 说，公司在 2023 年推出沙箱，后来随着编码智能体进步而快速增长，并进一步扩展语言模型推理服务。

他把快速启动和扩缩容归功于公司早期对自有文件系统、容器运行时和调度系统的投入。他说快照和快速传输可以减少模型加载时间。

他说推理优化仍需要大量实验，涉及分离预填充与解码、KV 缓存以及高效内核等方法。最佳配置取决于模型和工作负载，技术也可能随架构演变。

谈到芯片，Bernhardsson 认为当前 Nvidia 硬件需求强劲，但旧 GPU 对较小模型和其他工作负载也可能具有成本优势。他建议将内存需求与可用硬件匹配，同时认为自动选择有其作用。

他预计推理服务商将在服务效率上激烈竞争，并认为更广泛的工具组合可能带来更持久的差异化。这反映的是 Modal 的战略，并非独立市场评估。

这位 CEO 将资源分配描述为多产品公司的一项难题：出现优先级更高的机会时，团队有时必须暂停有吸引力的项目。

Bernhardsson 估计智能体参与编写了 Modal 合并代码中的很大一部分，但他说人工审查、测试和基础设施可靠性仍然关键。他观察到资深工程师使用尤其积极；这一比例是他的估计，并非审计结果。

随着智能体成为开发工具的用户，快速反馈、清楚的错误信息和文档仍然重要。他说模型可能重现训练数据中的旧示例，导致弃用功能更难，因此 Modal 会测试生成代码并调整弃用周期。

他说沙箱最初是规模相对较小的投入，后来为应对规模而多次重写。他对低延迟语音和视频、训练基础设施以及虚拟机感兴趣，但并不声称确定哪一个会成为下一个重要产品。

对于机器人，他预计大量推理将在设备上运行，而云基础设施支持训练、测试和模拟。多模态应用具有不同的延迟和部署要求。

讨论转向专门的 GPU 云服务商和 AI 实验室。Bernhardsson 说资金成本、硬件利用率和合同结构都很重要；他提醒，大额未来付款承诺可能形成杠杆，并使公司依赖后续融资。

谈到强化学习服务，他预计一些大型客户会定制或后训练模型，而许多公司可能不需要自行这样做。他认为，把专业工作变成可重复销售的产品是一项挑战。

在快问快答中，Bernhardsson 说自己仍看好工程师需求，但认为转型对部分应届毕业生可能比较困难。他还谈到在速度重要时学习并行推进相关项目。

被问及未来一年 GPU 租赁价格时，他预测价格会上涨，因为他预计需求将持续。这是基于他对公司财务情况理解作出的特定时间预测，并非有保证的结果。