在 RunPod 上让 MemGPT 使用开放权重模型

自我上次介绍之后，MemGPT 团队增加了对本地语言模型的支持和 AutoGPT 集成。我想展示如何将开放权重模型连接到 MemGPT；AutoGen 集成将在另一段视频中介绍。

我使用 RunPod，因为同时运行推理和录制视频会让我的电脑负担过重。如果自己的电脑资源足够，也可以使用相同的基本方法：由 text-generation-webui 托管模型，提供 API 给 MemGPT 调用。不过，在这次演示中，模型运行在远程 RunPod GPU 上。

在 RunPod 上，我选择 Secure Cloud 和 RTX A6000，然后部署实例。模板开放 7860 端口作为网页界面，5000 端口作为 API。实例准备好后，我连接 7860 端口的 HTTP 服务，下载并配置模型。

我选择的模型是 Dolphin 2.0 Mistral 7B。MemGPT 作者告诉我，Airoboros 提示模板通常效果不错，但为了演示流程，我使用这个较小的模型。在 text-generation-webui 的模型标签页中，我粘贴模型标识符并开始下载。当时这些软件还很新，我也感谢 MemGPT 作者 Charles 和 Vivian 帮忙解决错误。

下载完成后，由于这个模型没有量化，我选择 Transformers 加载器。我刷新模型列表；如果选择后界面仍显示 None，就先选择 None，再重新选择模型，然后点击 Load。在 Session 标签页中，我不启用 OpenAI 扩展：这次配置使用 text-generation-webui 的默认 API。

接下来我克隆 MemGPT 仓库并进入其目录。作者也提供了模块，因此克隆并非唯一的安装方式；如果是生产项目，我通常会使用模块。这是 2023 年的原始流程：MemGPT 此后已发展为 Letta，当前项目的安装和配置步骤可能不同。

我将 OPENAI_API_BASE 设为 RunPod 实例的 5000 端口端点，去掉末尾的斜杠，让客户端向模型 API 发送请求。我还将 BACKEND_TYPE 设为 webui。应使用自己实例的端点，而不是照搬演示中显示的 URL。

在这套历史配置中，我创建并激活一个使用 Python 3.11.3 的 Conda 环境，然后用 pip 安装仓库所需依赖。我用 `python3 main.py --no_verify` 启动程序；我解释说，在演示使用的版本中，这个选项让本地模型配置能够运行。不要假定这些命令和标志仍适用于当前版本。

菜单没有提供我的本地模型选项，所以我暂时选择 GPT-4，然后选择 Sam 角色和 basic user，不预加载任何内容。虽然菜单这样选择，配置的 API 端点仍然是 RunPod 托管的模型。我的目的是展示连接可用，而不是构建完整应用。

我要求智能体将我的名字 Matt 保存到记忆中。界面支持多行输入，所以只按 Enter 不会发送消息：我先按 Escape，再按 Enter。智能体记录了名字；当我问“我的名字是什么？”时，它回答 Matt。这是对这次交互有用的基本检查，但一个例子无法证明系统在其他情况下记忆信息的可靠程度。