Chris Vela：用 Runpod BenchPod 对 vLLM 配置做基准测试

我是 Runpod 的前线部署工程师 Chris Vela。我想谈谈 vLLM 基准测试，以及新模型发布时团队遇到的困难。Runpod 提供从研发到生产服务所需的 GPU；我经常看到客户不知道如何启动模型，也不确定该调整哪些设置。

许多团队从基础配置或 vLLM 配方开始。这是一个有用的起点，但无法回答配置是否适合生产环境。我希望用数据代替猜测，向工程师或管理者证明某项变更确实更好。

首先要问模型的用途：编码智能体和简单的摘要任务有不同需求，超大上下文窗口并非总有必要。预期用户并发量也很重要；如果只盯着最小、最便宜的 GPU，可能忽略负载下 KV 缓存的使用方式。

上线前有很多配置参数需要考虑。Runpod 的 pod 类似虚拟机，使用 Docker，也支持自带镜像。但即便基础设施使用方便，团队仍然需要选择兼容的服务栈和配置。

新发布的模型可能要求比常用配方更新的 vLLM 版本。当底层实现快速变化时，团队可能遇到难以理解的错误或尚不成熟的支持。我不一定会在模型发布第二天就将其投入生产，因为实现可能仍需完善。

为了让实验更容易，我开发了 BenchPod；演讲时这个模板尚未发布。它基于 vLLM，将服务配置、指标和基准测试集中起来，让团队能够快速修改配置并比较结果。

一个痛点是修改配置后的重启和冷启动等待。在我的例子中，下载模型权重并加载到 GPU 可能需要约 30 分钟。能在实际 GPU 机器上测试，包括有供应时使用 B300，就可以用测量结果验证说法，而不是只看介绍。

BenchPod 使用兼容 OpenAI 接口的 vLLM Docker 镜像和 FastAPI 应用。你可以指定要运行的模型，看门狗会在服务故障时重启它。我提到的内部实例有四个节点，曾在模型故障后自行恢复，用户没有受到影响。

我们的团队一直用 Kimi K3 运行编码智能体。虽然模型支持 100 万 token 上下文，但我表示，在这套配置中单张 B300 无法达到完整长度，我们使用大约一半。按我们的经验，这仍足以应对长任务，也能充分利用 KV 缓存。

仪表盘包含 GPU 和主机指标、vLLM 指标、基准测试、服务配置、自恢复和试验界面。CUDA 兼容性也很重要：我指出演示中的 Kimi 配置使用 CUDA 13.0，而非 12.8。连接智能体之前，团队可以先在试验界面测试模型。

这些指标还帮助团队观察冷启动和实际流量下的表现。演讲时模板尚未普遍开放。演示中我展示了 Runpod 界面，并指出 GPU 供应会变化；当时屏幕上恰好没有可用的 B300。

可以使用存储卷和 BenchPod 镜像部署 pod。运行中的实例提供实时指标与错误信息，数据由存储备份，也可通过 FastAPI 接口访问。智能体无需依赖图形界面即可使用 API，而仪表盘让运维人员掌握整体情况。

我展示了近期一次 GPU 故障，以及 Kimi 实例约 9 分钟的冷启动。服务页面允许我使用 vLLM 的 YAML 配置暂存实验，并重启服务以应用设置。这次演示调整的是最大批处理 token 数。

我提前运行了基准测试，避免现场等待。测试使用 1、8、64 和 192 个并发用户，仪表盘能够比较多个配置。这样就能观察设置在负载增长时的表现，而不是依赖单次测试。

画面中的比较展示了一个取舍：并发为 64 时，较大的批处理 token 设置使 P99 token 间延迟从约 195 毫秒降至 78 毫秒，但首 token 延迟中位数从约 1,966 毫秒升至 2,348 毫秒。结果是否合适取决于应用更看重哪种延迟。

我观察到，增大批处理 token 设置在某些情况下对首 token 延迟影响不大，但示例中的 token 间延迟显著下降。对于长请求，更快的 token 生成可能让任务比基础配方更早完成；仍应结合具体工作负载评估。

从 pod 获得数据后，可以考虑转向多节点集群或按需扩缩容的无服务器基础设施。无服务器用户也可能遇到等待工作实例启动的延迟，因此测量实际表现有助于制定生产决策。

我演示了使用运行中模型的命令行客户端。我表示，内部实例大约有 50 人使用，我们也运行其他模型。未来我关注更智能的路由，让团队能够托管并选择不同模型，而不是依赖单一配置。

可以围绕预期工作负载设计实验，例如数百个用户。我的建议流程是：选定 pod 和 GPU、选择模型、比较配置，再用智能体测试。优化真正重要的指标，例如 token 间延迟、首 token 延迟或每个输出 token 的耗时，然后部署胜出的配置并扩展。

不是每个团队都需要前沿模型。我估计平台上的一个 B200 节点每月约需 4 万美元，价格可能变化。这是性能强大的硬件，但选择应反映实际任务和成本。

例如，我用四张 H200 运行 DeepSeek 模型处理它擅长的任务，用 Kimi 处理更长、更复杂的工作。自托管时，工具和上下文管理也很重要；我认为模型路由和 AI 治理是 Runpod 接下来要做的方向。

我邀请大家提问，并提到自己测试新版本时不断发现模型特有的问题。BenchPod 模板当时计划在月底发布，供与会者自行试用。