本地运行 LLaMA 和 Alpaca：2023 年 Dalai 教程

Stanford 的 Alpaca 是基于 Meta LLaMA 7B 的指令微调模型。在这段 2023 年的演示中，我使用名为 Dalai 的工具，在 MacBook Air 上本地运行 LLaMA 和 Alpaca。最初的模型有研究和非商业用途限制，如今的安装体验也可能不同。

Stanford 报告称，在初步的单轮指令评估中，Alpaca 的行为与 text-davinci-003 在定性上相似。Berman 对模型规模和成本印象深刻，但表示自己的测试没有显示它与 GPT-4 相当。这项范围有限的比较不能证明它与 ChatGPT 或 GPT-4 的整体能力相同。

经常被引用的不足 600 美元成本，并不是从头训练整个模型的价格。Stanford 报告称，使用已预训练的 LLaMA 7B，API 生成示例花费不足 500 美元，首次微调花费不足 100 美元。这个数字不包含基础模型的预训练成本。

Stanford 从 Self-Instruct 种子集中 175 个人工编写的指令和输出对出发，使用 text-davinci-003 生成约 52,000 条示例，再用这些示例微调 LLaMA 7B。Berman 推荐观众阅读 Stanford 的发布文章，并指出他录制视频时公开演示已不可用。

教程使用 cocktailpeanut 的 Dalai 仓库。Berman 表示需要 Node.js 18 或更高版本，并演示安装软件包，然后下载 LLaMA 7B、13B 和 Alpaca 7B。他已经有这些模型，因此取消了重复下载；跟随示例不必同时安装两种 LLaMA 规模。

模型文件就绪后，Berman 用 `npx dalai serve` 启动本地服务器并打开界面。他选择模型，询问美洲驼和羊驼有什么关系。这些是 2023 年视频展示的命令和界面，不能保证目前仍然受支持。

回答达到 `n_predict` 设置的 200 个 token 上限时停止。提高这个值可以获得更长的回答。界面还提供模型选择、可选的远程服务器地址、线程数、随机种子和影响输出变化程度的温度设置。

Berman 引述 AI 训练成本将快速下降的预测，并将 GPT-3 的成本与 Alpaca 报告的成本比较。这些数字无法直接比较：Alpaca 的数字仅涵盖基于现有预训练模型的数据生成和微调，初步评估也不能证明性能相当。最后，他表示期待在本地尝试更多模型，比较它们各自的长处。