2023 年指南：在本地运行初代 GPT4All 模型

我介绍 Nomic AI 早期发布的 GPT4All。这是一个可以在计算机 CPU 上运行的语言模型，无需我认为训练模型所需的高端硬件。项目还提供量化模型、LoRA 权重和训练数据。这段演示反映的是 2023 年 3 月可用的版本。

安装之前，我展示模型在终端中回答问题；这个版本还没有我希望看到的图形界面。我觉得它速度很快，并认为其表现足以与 GPT-3.5 相比，但这个判断来自少量非正式测试，而非受控基准测试。

示例包括笑话、Ruby 代码、诗歌和人物介绍。笑话只为包袱留下了一个占位符。尽管我称赞了 Ruby 输出，画面中的代码混用了语法，并不能证明它是正确的计数程序；生成的代码需要测试，不能只凭外观接受。

被问及 ChatGPT 时，模型给出了错误的缩写解释，没有识别出 OpenAI 的产品。它也没能说出数据截止日期。我说项目 Discord 中有人将其与 GPT-3.5 Turbo 的数据截止日期联系起来，但演示本身并不能确定具体日期。

我尝试了一个故事提示词，以及一个关于美国宪法前三条修正案的问题。模型给出了简短回答，我觉得输出快速而有用；这些例子并非全面的准确性评估。

在当时的安装流程中，我打开 GPT4All 的 GitHub 仓库，通过 Code 按钮复制仓库 URL，然后在终端使用该 URL 运行 git clone。克隆代码本身并不会下载单独的模型文件。

接下来，项目说明要求下载 CPU 量化模型，我说它大约有 4 GB。我把下载的 gpt4all-lora-quantized.bin 文件放入仓库的 chat 文件夹。页面分别列出了适用于 M1 Mac 和 Windows 或 Linux 的可执行文件。

我从仓库根目录启动时遇到了模型加载错误。在 Discord 询问后，我进入 chat 文件夹，从那里运行对应平台的可执行文件；模型成功加载并显示终端提示符。这个解决办法适用于演示中的版本。

我测试了一些关于星期和二月的基本问题。我还想调整采样温度，但表示尚未找到在这种 CPU 配置中设置它的方法，打算继续研究。

我解释说，该项目使用大约 80 万条 GPT-3.5 Turbo 生成结果，为基于 LLaMA 的模型制作助手式训练数据，过程与 Alpaca 有关。这描述的是 2023 年的项目，而非后续 GPT4All 版本的模型阵容。

项目页面链接了训练后的 LoRA 权重和原始数据，并明确表示不分发 LLaMA 7B 检查点。页面还提供安装和训练说明；我指出可以在配置文件中提供自定义数据，但自己没有运行训练任务。

我讨论了先前本地模型教程中的另一个问题：如何微调模型。根据当时的研究，我认为这需要高端 GPU，并提到 4090、A100 和云端 GPU 等可能选择。我没有这次演示所需的硬件，因此无法在这里验证完整的微调流程。