Petals：将大语言模型推理分布到多台设备

我介绍 Petals，认为它可能是获取大语言模型方面的一项重要进展。我对其意义的热情是一种预测。我描述的目标是通过分布式网络使用模型，而不需要单个客户端设备保存完整模型。

我将 ChatGPT 等集中式服务与用户可以获取和运行的 LLaMA、BLOOM、MPT 等模型进行比较。我关注的是大型模型的硬件成本：我估计，一个 330 亿参数模型需要昂贵的 GPU 才能达到合理的推理速度。这里的成本和可用性背景来自 2023 年，而且各模型的许可证并不相同。

Petals 提供另一种方式：通过网络分布推理和微调工作。我将共享资源的想法比作 torrent，但这只是类比，并不能证明 Petals 就是 BitTorrent。客户端能否使用系统取决于兼容软件、网络和参与的服务器，并非任何设备都能无条件使用。

我将模型描述为拆分成由不同参与者托管的区块。每个贡献服务器只提供其中一部分，而不必运行整个模型。客户端跨网络协调工作，用户也可以通过 Google Colab 会话等环境访问网络，而不是仅依赖本地 GPU。

我引用 LLaMA 65B 每秒约 5 至 6 个 token 的速度。这是历史上报告的观察结果，并非保证：网络延迟、可用主机、模型和配置都可能改变性能。视频中另行展示的表格报告了 BLOOM-176B 在多种服务器和网络配置下的基准成绩。

参与者可以是客户端、服务器，也可以两者兼任。我介绍客户端如何使用网络进行推理或微调，以及服务器如何贡献硬件运行模型区块。客户端可以使用 Petals Python 库，而不必亲自管理每台服务器；一个团队也可以建立私有网络。

我推测，分布模型组件可能对混合专家架构有用。我还提到当时流传的关于 GPT-4 内部结构的说法；视频没有验证这些细节，也没有证明 Petals 支持某个特定的混合专家系统。

一个实际挑战是，公共网络依赖人们贡献可用算力。我设想空闲 GPU 时间可以成为潜在资源，但视频没有测量需要多少贡献者，也没有保证志愿者网络始终有足够容量。

我提出的一种可能激励方式是用代币奖励服务器运营者，或许提供优先权、更高使用额度以及潜在的可交易价值。这个区块链想法是我的提案，而不是 Petals 展示或承诺的奖励机制。

在视频发布时，我介绍了对 BLOOM 和 LLaMA 的支持，并展示一个简短的 Python 示例。它导入分词器和 Petals 分布式模型类，加载支持的模型，然后生成文本。示例展示的是推理；当前的模型支持情况和安装细节可能不同。

我计划分别以客户端和服务器身份尝试 Petals，并询问观众是否希望看到更长的教程。我对共享空闲 GPU 资源的可能性感到兴奋，但视频本身没有展示我完成的测试，也没有确定所有参与主机的隐私保障。