在 Windows 上安装 Text Generation WebUI：2023 年本地模型教程

Text Generation WebUI 是一个开源界面，用于在本地运行兼容的语言模型。在这段 2023 年 6 月的视频中，我在 Windows 上安装它，并解释模型下载和设置。录制之后项目和安装流程都发生了变化；新配置应从当前仓库文档开始。

当时的仓库提供一键安装器、conda 方法和 Docker。我选择 conda，因为一键方式此前在我的机器上没有成功。我的经历并非普遍结果，哪种方法有效取决于项目版本和系统。

在 Windows Anaconda 提示符中，我创建一个名为 `tg`、使用 Python 3.10.9 的 conda 环境并激活。隔离环境有助于管理依赖，但不能自行保证软件包兼容或消除安装错误。

我使用 CUDA 11.7 软件包索引安装 PyTorch 和相关库，然后克隆仓库、进入其目录并安装依赖。这些软件包选择属于我的 2023 年配置；当前版本和硬件可能需要不同的操作说明。

我尝试按照旧指南中的标志重新构建 `llama-cpp-python`，但遇到 wheel 构建失败。重试时我使用 OpenBLAS 标志并完成构建。这种退回方案并不能证明得到的 llama.cpp 构建具有 CUDA 加速；支持情况取决于实际构建和后端。

另一次检查显示 PyTorch 能检测到 CUDA 11.7，但启动服务器时出现 bitsandbytes CUDA 错误。我安装一个 Windows 专用的 bitsandbytes 包，随后又遇到缺少 `Linear4bit` 属性的问题，便使用特定 PEFT 版本让当时的环境运行起来。这些是排障观察，并非普遍适用的修复方法。

服务器启动后，我在浏览器中打开本地地址。随后我解释界面如何从 Hugging Face 下载模型，并展示 TheBloke 提供的 Vicuna 等模型的 GPTQ 和 GGML 版本。必须分别检查模型格式、许可和硬件要求；该界面无法在每台机器上运行所有模型。

此版本中的第一种下载方式是在 Model 标签页粘贴作者与模型标识符，再点击下载。第二种是命令行下载脚本；获取多个模型时我更喜欢这种方式。两种方法都取决于项目版本以及能否访问模型仓库。

第三种方式是从模型仓库手动下载所需文件，并放入 WebUI 的 models 目录。仅有大型权重文件可能不够：配置、分词器及其他文件也可能是必需的。展示的例子约为 7.45 GB，而运行时的内存需求可能更高。

我建议查看模型卡，确认兼容的加载器及任何特殊设置。针对特定指令格式训练的模型，在输入遵循预期提示模板时可能表现更好。旧版界面提供模板，并允许用户编辑。

Model 标签页包含 CPU 和自动设备选项，以及 `trust-remote-code` 设置。该选项可能执行模型仓库提供的代码，因此应先检查代码，只在信任来源时启用；单凭错误消息不应盲目开启。

我从指令模式切换到聊天界面，并展示上传聊天历史的选项。应用可以将此前轮次作为上下文再次传入，但受到模型上下文窗口和设置的限制；这不能保证无限或永久记忆。

Parameters 标签页提供温度、top-p 和 top-k 等采样控件。我还指出了用于微调的 Training 标签页，但没有进行训练演示。实际使用时应检查模型要求和当前项目文档，而不要假定 2023 年的步骤仍然兼容。