使用 OpenLLM 通过 API 提供开放模型服务

在这期 2023 年 6 月的教程中，我介绍 OpenLLM，这是一个旨在简化开放模型服务和应用构建的开源项目。它提供简单的 API，支持多个模型系列，并提供集成及部署选项。本教程中的命令和功能状态反映的是当时展示的版本，现在可能已经改变。

代码仓库列出的支持系列包括 StableLM、Falcon、Dolly、FLAN、ChatGLM 和 StarCoder。它介绍了 API 测试、与 BentoML 和 Hugging Face 生态的集成，以及打包服务器或通过 BentoCloud 部署的方法。微调被描述为即将推出，而不是我在此演示的功能。

我首先创建一个名为 `ol`、使用 Python 3.11.3 的独立 Conda 环境，然后激活它，并通过 `pip install openllm` 安装 OpenLLM。隔离环境有助于避免依赖冲突。我运行 `openllm -h`，确认命令可用并查看其选项。

我使用 `openllm start opt` 启动默认的 OPT 示例。本地服务器运行后，我在 `localhost:3000` 打开它的文档界面。界面提供生成和元数据端点，也允许我不编写独立客户端就发送请求。

为了测试生成，我选择端点，在 JSON 请求内容中输入一个要求讲笑话的提示并执行。页面显示响应状态码及生成设置，例如最大新 token 数、最小长度和提前停止。服务器日志显示请求已经到达。

生成的回答不太连贯，我将其归因于示例中使用的小模型。API 调用成功说明服务调用链可以工作，但不能证明模型回答准确或有用。

接下来，我编写一个简短 Python 脚本，导入 `openllm`，为本地服务器创建 HTTP 客户端，发送查询并打印响应。演示中出现了关于 JSON 编码器的 BentoML 警告，但请求成功返回。它对“further”和“farther”的解释仍然不合逻辑，说明连通性与输出质量是两回事。

演示中的版本通过可选软件包支持额外模型。我打开第二个终端，激活同一环境，并使用 `pip install openllm[falcon]` 安装 Falcon 扩展。我提到首次尝试时缺少依赖；OpenLLM 报告了这些依赖，我分别安装后重新尝试。

我用 `openllm start falcon` 启动 Falcon 服务器。控制台提到了 einops、xformers 和 safetensors 等依赖，元数据端点将模型标识为 Falcon 7B。具体依赖和安装过程取决于模型及软件版本。

在部署方面，我演示了 `openllm build falcon`，为模型创建 Bento 软件包。我还解释，可以在启动服务器时通过模型 ID 选择特定变体。教程展示的是打包命令，而不是完整的生产部署。

最后，我介绍 Hugging Face agents 集成并讨论 LangChain 支持。视频将部分集成和微调描述为即将推出，因此在假定 2023 年的功能状态或命令仍然适用之前，应查阅项目的当前文档。