在 GPU 服务器上安装 LLaVA：Matthew Berman 的 2023 年演示

Matthew Berman 介绍 LLaVA，这是一个可以回答图片相关问题的视觉语言模型。在这段 2023 年 10 月的演示中，他将其作为 ChatGPT Vision 的替代选择，并介绍自己如何在租用的 GPU 上安装。

该项目建立在 Visual Instruction Tuning 论文和开源代码仓库的基础上。Berman 说，他演示的版本使用经过微调的 Llama 2 13B 模型。他展示一张细胞图，并说模型能够识别和解释其中标注的部分。

Berman 说，他在 Windows 上遇到依赖 Linux 的组件，在 Mac 上又遇到 CUDA 要求，因此选择 RunPod 的 Linux GPU 实例。他认为合适的 Linux 电脑可以在本地运行软件，Windows Subsystem for Linux 也可能可行，但他没有演示。

在 2023 年的录制中，他选择了标价每小时 0.79 美元的 RTX A6000 实例，并指出更小的 GPU 可能也够用。他把临时容器存储从 20 GB 增加到 100 GB，以容纳模型下载，并开放 3000 端口。项目代码免费，但云实例需要付费。

部署后，他打开网页终端，克隆 LLaVA 代码仓库并进入目录。他升级 pip、安装 PyTorch 和项目依赖。完整命令可以参考视频简介中链接的说明。

他在 10000 端口启动控制器，然后打开第二个终端启动模型工作进程。首次运行时工作进程会下载模型；他估计模型需要超过 20 GB 的存储空间。这两个进程都需要保持运行。

下载时，终端在进度信息旁反复显示错误级别的日志。Berman 说，他在这次演示中可以忽略那些特定信息，但这并不意味着所有错误都可以忽略。随后工作进程加载检查点分片并开始提供模型服务。

他在第三个终端中配置 Gradio 服务使用 3000 端口，并指定控制器地址来启动网页服务器。在 RunPod 中打开暴露的端口后，就能看到包含模型选择器和图片上传功能的 LLaVA 界面。

第一个例子询问图片有什么不同寻常。模型描述一个站在行驶汽车后部熨衣服的人。Berman 把它作为图像理解能力的演示，而不是系统性评测。

他重申 RunPod 机器需要付费，而合适的本地 Linux 环境可以避免这笔租赁费用。他说，自己尝试时没有成功运行 Mac 分支或 Apple silicon 相关说明。

另一个测试中，Berman 上传一张带标签的细胞插图，要求模型解释其中的术语。模型开始描述细胞并定义各部分，尽管图片本身只有标签。他也发现了一个问题：回答进入循环，不断重复列表。

这段视频没有探索模型能力的全部边界。Berman 给不想安装的观众推荐了简介中链接的网页演示。录制结束后，一位贡献者还制作了 RunPod 一键模板，链接也放在简介里。