为本地语言模型安装 Alpaca Turbo：2023 年教程

我演示 Alpaca Turbo，这是一个早期类似 ChatGPT 的网页界面，用于运行兼容的本地语言模型。2023 年 4 月时它还处于早期阶段，我在安装过程中遇到了错误，不过开发者的回应很积极。不能假定它支持所有本地模型或现代模型格式。

该[项目](https://github.com/ViperX7/Alpaca-Turbo)提供 Docker 和 Miniconda 两种方式；我在 Apple Silicon Mac 上使用 Miniconda 说明，页面也列出了 Windows。录制之后版本、依赖和模型兼容性可能已经变化。

应用使用 5000 端口，可能与 macOS 的 AirPlay Receiver 冲突。在我的电脑上，我启动服务器之前关闭了 AirPlay Receiver。这也会关闭 Mac 接收 AirPlay 的功能，因此有此需求的用户应根据自己的配置考虑可用替代方案。

首先，我下载适合电脑的 Miniconda 安装程序。因为我已经安装过，所以只介绍安装程序而不再重复操作。然后我下载 Alpaca Turbo v0.5 发布版 ZIP，并将项目目录解压到桌面。

我把一个兼容的 Alpaca 模型文件复制到解压后项目的 models 目录。示例模型有数 GB 大小，因此磁盘空间和内存很重要。链接中的历史文件使用较旧的 GGML 格式；用户应核查其运行版本的模型许可与兼容性。

我在终端进入项目目录。说明中展示了 `conda init`，它会为 shell 初始化 Conda，而不只是初始化当前目录；可能需要重新启动 shell。历史 README 接着展示 `conda create -n alpaca_turbo python=3.8 -y` 和 `conda activate alpaca_turbo`。

激活环境后，我运行 `pip install -r requirements.txt`，然后运行 `python api.py`。我的电脑报告依赖已经满足。应用显示 Flask 开发服务器警告；截图还显示调试模式已开启并绑定到 `0.0.0.0`，因此通过 127.0.0.1 打开界面并不能证明其他网络设备无法访问它。

我展示 macOS 中的 AirPlay Receiver 设置，并解释端口冲突可能阻止服务器启动。我运行命令时它已经关闭。画面中的设置和端口行为特定于这一历史安装环境。

我在浏览器中打开本地 URL，选择 models 目录中发现的模型，点击 Change 并等待加载。界面显示内存和 CPU 使用情况；我的电脑有 24 GB 内存，显示的总使用量约为 17 GB。这只是系统使用情况的一个快照，并非通用的模型内存要求。

我问星期五之后是哪一天，模型正确回答星期六。要求它写一首 50 词的诗时，它没有写出我想要的诗。这只是几个说明性的提示词，并非对界面或模型的基准测试。

被问及美国宪法第一修正案时，模型回答“言论自由”。这个回答并不完整：该修正案还涉及宗教、新闻、集会和请愿。这个例子说明为什么应对照权威来源核查模型输出。

我认为 Alpaca 模型有前景但并不完美，预计本地模型和界面会继续改进。我还提到计划探索的其他项目；我预测它们会赶上 ChatGPT，这是 2023 年的展望，而非这些简短测试已经证实的结果。