使用 Runpod 和 Text Generation Web UI 在云 GPU 上运行 Guanaco 65B

摘要

30 秒看懂

2023 年 5 月，Matthew Berman 演示如何使用社区模板部署 Runpod GPU，并通过 Text Generation Web UI 下载和运行 GPTQ 量化的 Guanaco 65B 模型。他介绍了模型设置、生成控制和终止 pod 的操作。视频简介将 Runpod 链接标注为联盟推广链接；价格和界面细节均为历史信息。

1租用 GPUBerman 解释按小时租用 GPU 并选择 RTX 6000 Ada 实例。他展示的 2023 年价格是示例，并非当前报价。
2社区模板默认模板出现问题后，他选择了 TheBloke 预配置的 Text Generation Web UI 模板。
3下载 Guanaco 65B界面下载经过 GPTQ 量化的 Hugging Face 模型；所展示的步骤取决于具体版本和加载器。
4调整加载器他依照当时的模型说明选择 4 位权重、无分组大小和 LLaMA 模型类型。
5停止计费并保存数据Berman 终止了没有配置卷的 pod。持久存储及其费用需要另行考虑。

要点建议

云 GPU 可以在不购买本地加速卡的情况下提供临时算力，但成本和可用性会随实例及时间变化。
演示中的 Guanaco 65B GPTQ 使用特定量化格式，需要足够的 GPU 显存；该流程不能保证所有模型都适合所有 GPU。
2023 年的示例为所展示的模型版本设置了 4 位权重、无分组大小和 LLaMA 模型类型。
Guanaco 基于 LLaMA，受许可限制；使用前应检查模型卡及底层条款。
没有持久卷的 pod 在终止时可能丢失数据，而独立存储可能继续产生费用。
应将 2023 年的模板和界面视为历史教程，并保护任何可远程访问的界面。

主题Local inference 基础设施与部署 Open-weight models Quantization 开发流程与测试

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

租用云 GPU

Berman 解释租用 GPU 时间的原因、充值并选择硬件。他为网页界面选择了一个社区模板。

我想展示如何使用 Runpod 和 Text Generation Web UI，在租用的云 GPU 上运行大型语言模型。示例使用 GPTQ 量化格式的 Guanaco 65B。本教程录制于 2023 年 5 月：模板、模型加载器和服务商价格可能已经变化，而且单块 GPU 不一定能运行所有模型。

云 GPU 让我可以按小时租用算力，而无需购买昂贵的加速卡。我创建 Runpod 账户、充值并比较可用 GPU。视频显示的价格约为每小时 0.69 至 2.30 美元，初始充值为 25 美元；这些是录制时的示例，并非当前价格或特定成本的承诺。

我选择 RTX 6000 Ada 和一个模板。容量规划取决于模型架构、量化方式、运行开销和可用 GPU 显存；24 GB 显卡并不自动意味着能装下 650 亿参数模型。默认模板遇到问题后，我改用 TheBloke 为 Text Generation Web UI 提供的社区模板。

TheBloke 发布了量化模型文件和预配置模板。我选中它，接受未配置卷的提示，然后部署。没有持久存储时，终止 pod 可能导致其中的文件丢失；在依赖数据能够保留之前，应遵循服务商当前的存储说明（[Runpod 存储文档](https://docs.runpod.io/pods/storage/types)）。

连接并下载模型

他检查 pod、打开网页界面并下载 GPTQ 版本的 Guanaco 65B。该示例中的 pod 没有持久卷。

pod 控制台提供日志、配置、环境变量和网页终端。随后我通过 7860 端口的 HTTP 连接打开应用。远程可访问的界面需要适当的访问控制，凭据也不应出现在截图、提示或日志中。

幻灯片 1 / 2在 Text Generation Web UI 中下载模型历史界面在加载器设置旁提供了输入模型标识符的字段。

在 Model 选项卡中，我将 Hugging Face 标识符 TheBloke/guanaco-65B-GPTQ 粘贴到自定义模型下载字段并开始下载。模型很大，下载需要一些时间；完成后我刷新列表并选中它。[模型卡](https://huggingface.co/TheBloke/guanaco-65B-GPTQ) 提供可用文件和兼容性详情，可能与 2023 年展示的版本不同。