在双 RTX 6000 工作站上测试本地 AI

摘要

30 秒看懂

在这段 2024 年 6 月的视频中，Matthew Berman 在配备两块 NVIDIA RTX 6000 Ada Generation GPU 的 Dell Precision 5860 工作站上运行本地模型。他报告了几个量化和全精度模型的速度，在 LM Studio 中加载多个实例，还尝试了代码和图像生成。 Dell 和 NVIDIA 提供了这台工作站，视频简介披露 Berman 是 LM Studio 的投资者。这些速度和资源读数是该设备上的非正式观察，并非受控基准测试；70B 模型生成的贪吃蛇游戏在他的测试中未能运行。

1工作站配置提供的 Precision 5860 配备两块各有 48 GB 显存的 RTX 6000 Ada Generation GPU，以及 128 GB 系统内存。
2精度改变内存需求Berman 表示，70B 模型以 32 位精度存储权重约需 280 GB；他使用的 Q8 版本可以装入这台机器的 GPU 显存。
3小模型速度在他的测试中，Llama 3 8B Q4 生成故事的速度约为每秒 60 个 token。
410 个并发实例10 个 Q4 实例同时运行时，每个实例的速度约为每秒 11 个 token；软件随后拒绝加载更多实例。
5本地运行 70B 模型在这套配置上，Llama 3 70B Q8 的生成速度约为每秒 9 个 token。
6生成的游戏失败模型生成的贪吃蛇程序存在问题，Berman 修改后仍无法运行。
7图像生成Fooocus 演示生成了几张狗的图像，Berman 估计每张耗时约 4 秒。

要点建议

两块各 48 GB 的 GPU 合计提供 96 GB 显存，但能容纳什么模型取决于模型精度、额外开销和软件配置。
Berman 报告，量化的 Llama 3 8B 一次运行速度约为每秒 60 个 token，较大的 Llama 3 70B Q8 则约为每秒 9 个。
并发模型实例会增加负载：演示中的 10 个 Q4 实例各以约每秒 11 个 token 的速度运行。
模型加载限制与 GPU 显存使用量是不同的；视频没有确定那次尝试最多只能加载 9 个 Q8 实例的原因。
推理速度快不保证输出正确：测试中的 70B 模型生成的贪吃蛇程序经过修改后仍无法运行。
在那次特定配置的本地图像生成演示中，他估计每张图像耗时约 4 秒。

主题Local inference Inference 模型与训练 Generative media 开发流程与测试

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

提供的工作站

Berman 介绍 Dell 和 NVIDIA 送来的 Dell Precision 5860，列出其组件，并谈到他认为谁可能需要这样昂贵的系统。

我先同时运行 10 个 Llama 3 8B Instruct 实例。Dell 和 NVIDIA 送给我一台工作站，我想用大型本地模型和并发推理考验一下它。视频简介还披露了我是 LM Studio 的投资者；语言模型测试使用的就是这款软件。

这台机器是 Dell Precision 5860 Tower，配备 Intel Xeon W-2475X 处理器，运行 Windows 11。它有两块 NVIDIA RTX 6000 Ada Generation GPU，每块配备 48 GB GDDR6 显存，合计 96 GB。我还列出了 128 GB DDR5-4800 系统内存和两块 4 TB M.2 SSD。

这台机器价格昂贵，并不适合所有人，但我认为大容量 GPU 显存可能对运行大型本地模型、微调模型或从事数据科学的人有用。它也比我之前的塔式电脑小。这些只是我的印象；本视频测试的是推理，并未展示训练或微调基准测试。

选择模型和精度

他打开 LM Studio，盘点不同大小和量化等级的模型，并讨论 70B 模型的内存取舍。

我安装了 LM Studio，下载了几个模型，占用约 224 GB 磁盘空间。最大的模型是 Llama 3 70B Instruct 的 Q8 版本，大小略低于 75 GB。量化很重要，因为所需空间不仅取决于参数数量，还取决于权重采用的数值精度。

我估计，700 亿个参数以 32 位精度存储，光权重就需要约 280 GB，远远超过这里合计 96 GB 的 GPU 显存。Q8 模型小得多。实际内存需求还取决于格式、运行时开销、上下文以及工作负载如何分配到各设备。

我还下载了 FP16 版本的 Mistral 7B Instruct v0.3 和 Phi-3 Mini 4K Instruct、Q8 和 Q4 版本的 Llama 3 8B Instruct，以及全精度格式的 Phi-3 Medium。我打算先试小模型，再试大模型，最后在本地生成图像。

单模型推理

Berman 运行较小的 Llama、Phi 和 Mistral 模型，报告观察到的生成速度。这些是在特定系统上的演示，并非受控比较。

我加载 Q4 版本的 Llama 3 8B Instruct，将全部工作卸载到 GPU，并让它写一个故事。界面显示的速度约为每秒 60 个 token。我还让它用 Python 写贪吃蛇游戏，观察到相近的生成速度。这些数字只反映单次运行，并非标准化基准测试。

幻灯片 1 / 5Llama 3 8B 生成速度界面显示，一次单模型运行的速度约为每秒 60 个 token。

接下来，FP16 版本的 Phi-3 Mini 4K Instruct 以约每秒 63 个 token 的速度生成一个故事。我还给它出了一道涉及房间里杀手的谜题。它的回答令人困惑，我不确定是否正确；速度测量与答案质量是两回事。

我接着运行一个 Q8 Llama 3 模型，记录到约每秒 56 个 token，然后加载 FP16 版本的 Mistral 7B Instruct v0.3。Mistral 以约每秒 42 个 token 的速度生成了一个长故事，同时我观察到 GPU 利用率约为 40%。模型大小、设置和提示词都会影响这些非正式结果。