使用 Text Generation WebUI 在本地运行 WizardCoder

我要从头开始在自己的 PC 上安装一个本地编程模型。我会使用 Text Generation WebUI 和基于 Code Llama 微调的 WizardCoder。我根据先前比较说该模型击败 GPT-4，但这不应被解读为对所有编程任务或这里使用的特定 13B 模型的普遍结论：基准结果取决于模型版本和测试条件。

首先，我安装 Anaconda 来管理 Python 环境，并打开 Text Generation WebUI 仓库。我复制仓库地址，创建使用 Python 3.10.9 的 conda 环境并激活，然后克隆仓库并进入目录。这些是 2023 年视频中展示的步骤；目前的项目说明可能不同。

我安装仓库依赖，并展示 PyTorch 安装命令。我还提到 CUDA 不可用的错误，以及适用于该配置的 PyTorch 和 CUDA 包。当我的安装报告缺少 chardet 和 cchardet 模块时，我安装它们并用 Python 启动服务器。

在网页界面的 Model 标签页中，我在 Hugging Face 上查找 WizardCoder-Python 13B。我选择较小的模型，虽然我有 24 GB GPU 内存，也认为自己可能运行 34B 模型。不同模型尺寸和量化格式对硬件的要求不同。

我使用 TheBloke 提供的 GPTQ 量化版本，模型文件约为 7 GB。量化降低模型权重的精度和大小；它可能影响质量，速度则取决于硬件和使用的软件。我将模型标识符复制到界面并下载。

刷新模型列表后，我选择下载的模型，并为此配置选择 ExLlama_HF，而不是默认加载器。我将最大序列长度设为 2,048，加载模型，再为编程设置最大新 token 数和较低的温度。展示的界面和加载器选项对应演示中使用的版本。

我使用指令模板，要求生成输出 1 到 100 的 Python 代码。模型返回了两个可运行的示例。这有助于检查本地配置是否运行正常，但一个简单提示不能证明它的整体编程可靠性，也不意味着硬件和电力免费。