智能体基础设施需要持久状态和弹性算力

智能体究竟需要什么基础设施？Modal 联合创始人兼首席技术官 Akshat Bubna 从金融分析电子表格讲起：每个单元格都可以对应一个智能体。分析师可以跨投资组合公司提出问题，而不必逐行重复手工工作。

他说，一家 Modal 客户已经构建了类似产品。问题是，当一次表格查询启动大量独立智能体、随后又要汇集结果时，底层需要发生什么。

在他展示的架构中，每个智能体使用一个沙箱，即运行代码的隔离环境。智能体循环或运行框架调用模型并决定使用哪些工具；实际工具执行则放在另一个容器中，以实现隔离。

共享存储让智能体能够协作。例如，表格同一行的智能体可以共享一个存储卷，智能体的主容器与边车也可以共享指定文件。系统必须能快速启动大量环境，并在任务完成后释放它们。

Modal 为推理、训练、批处理函数和沙箱等 AI 工作负载构建基础设施。Bubna 重点讨论智能体平台需要的基础能力，而不是指导模型行为的提示词。

每个智能体都需要适合任务的工作区。编程智能体需要代码仓库、依赖和开发服务；会计智能体需要文档、工作底稿和脚本；游戏开发智能体则需要引擎与素材。

工作区还需要能够在暂停期间保留。会计智能体可能处理完文档后等待会计师数天。人工回复后，它应当从中断处继续，而无需在等待期间持续占用算力。

不同的持久化方式适合不同任务：可以保存整个文件系统的快照、单个目录的快照，或使用共享存储卷。例如，团队可以在更新基础镜像时保留依赖，而不是用同一种方式处理所有状态。

资源需求也会波动。Bubna 展示了编程智能体 Ramp Inspect 的 CPU 和内存数据：不同沙箱之间，以及同一个沙箱运行的不同时段，需求都可能差异很大。编译代码或分析大型数据集时，资源需求可能短暂上升。

他说，如果每个环境都按观察到的最高峰值预留资源，例如约 15 个 CPU 核心和 15 GB 内存，成本会很高。Modal 的做法是在需要时提供资源，并按使用期间计费。

有些任务只在特定步骤需要加速器。Bubna 提到 Claude Science：当研究人员需要更多 CPU 或 GPU 时，可以将计算工作转交给 Modal 沙箱。他也将游戏设计、视频和三维工作列为可能需要 GPU 的场景。

他介绍了智能体运行多个训练实验、切换硬件并比较不同方案的迭代研究。基础设施需要提供所请求的资源，并让智能体能够检查实验结果。

当智能体与子智能体及人协作时，共享文件系统成为协调方式的一部分。Bubna 说，它需要开发者能够理解和预期的性能与一致性。智能体也可以随时间将记忆保存为文件并更新。

智能体可能犯错或泄露敏感数据，因此控制其环境很重要。Bubna 列出了身份验证、允许哪些外部 IP 连接、智能体可以访问哪些目标，以及如何提供服务凭据等问题。

他说，仅靠域名级允许列表并不总是足够：组织可能只想允许某个服务上的特定路径或操作。边车代理可以执行自定义的出站规则，他以 Ramp 使用的模式为例。

可观察性对智能体和人类操作人员都很重要。如果训练失败，智能体应能读取日志、理解故障并尝试不同参数。运行期间，它还可能需要利用率指标和支出预算。

为什么不直接让模型生成一个沙箱平台？Bubna 认为，可靠性、安全性和规模化需要审慎的工程工作。罕见故障很难推演；随着威胁和系统变化，安全边界也必须持续维护。

Bubna 报告说，演讲时 Modal 每周创建约 2000 万个快照和 260 万个存储卷，每天处理约 8 PB 快照数据。他还举出一个客户工作负载，最多需要每秒启动 1 万个沙箱，并同时运行近 100 万个短生命周期沙箱。

他说，这些环境可能只运行几分钟，但需要在不到一秒内变得可交互。他补充说，CPU 和 GPU 一样可能出现容量约束，因此 Modal 会汇集多家供应商的算力。

展望未来，Bubna 预计负责决策的智能体循环与实际执行任务的环境会进一步分离。智能体可以按需创建环境、保存快照以备后用，并动态调整资源。

他将逐个管理的服务器与可互换的容器作对比，进而认为未来智能体可能协调更多样化的环境。他的结论是，可靠的计算、存储和网络基础能力能让智能体更灵活地工作。