图像测试：Phi-3 Vision、LLaVA-Llama 3 与 GPT-4o

2024 年 6 月，我用几张图片比较三种具备视觉能力的系统：Microsoft 的 Phi-3 Vision、基于 Meta Llama 3 的 XTuner LLaVA 模型，以及 ChatGPT 中的 GPT-4o。这些是在不同界面和设置下进行的非正式演示，并非受控基准测试，也不是当前排名。

我通过 Azure 运行 Phi-3-Vision-128K-Instruct，在 LM Studio 中使用 F16 文件本地运行 LLaVA-Llama-3，并通过 ChatGPT 使用 GPT-4o。XTuner 的 LLaVA 微调模型使用了 Meta 的 Llama 语言模型，但它不是 Meta 自己发布的视觉模型。我披露自己是 LM Studio 的投资人。

第一张图片显示一只白色骆驼科动物躺在草地上。Phi-3 和本地模型将它描述为羊驼，GPT-4o 则称其为美洲驼，并补充了周围环境的细节。我认为三种描述大致都有用；这一个例子无法确定哪种物种识别正确。

接下来我让系统识别一张比尔·盖茨的照片。Phi-3 明确拒绝识别人物，本地模型描述了人物但没有说出姓名，GPT-4o 表示不知道。拒绝或选择不说出姓名，并不能证明系统缺乏人脸识别能力。

然后我测试一张包含验证码的图片。Phi-3 读出了可见文字，本地模型多加了一行，而 GPT-4o 起初没有回答，重试后才作出回应。结果与具体图片、提示词和产品行为有关，不能作为安全性或可靠性的普遍衡量。

对于一张视频缩略图，Phi-3 和本地模型描述了办公室场景中的男子以及可见文字。当我问图片来自哪部电影时，两者都没有自信地指出某一部；人物出现在经过制作的缩略图中，因此问题本身可能没有清晰说明预期任务。

GPT-4o 也描述了缩略图。对于这张图片，我主观上更喜欢另外两个回答，但各描述的细节不同，这并不是经过独立评分的比较。我也提到 LM Studio 是我偏好的界面。

接下来是一张 iPhone 存储空间截图。Phi-3 读出 128 GB 中已使用 119.7 GB，并在追问后算出剩余 8.3 GB。它还回答了一个关于应用存储空间的问题。该结果展示了在这张特定截图上结合图像读取和算术的能力。

本地 LLaVA 模型描述了存储空间界面，但即使我重新上传图片并开启新聊天，它仍难以回答有关剩余空间的追问。它还给出了错误的应用存储数值。我指出，提示方式或本地配置可能也是问题的一部分。

GPT-4o 对存储空间界面给出了详细描述，算出剩余 8.3 GB，并给出应用存储空间为 162.5 MB。我认为它在这个例子中表现最好。这个判断仅针对观察到的本次运行，而不是所有截图任务。

我让三个系统给出二维码的目的地。Phi-3 拒绝，本地模型描述图片而没有回答，GPT-4o 尝试分析后最终建议使用二维码扫描器。本次运行中没有系统给出预期目的地；不同产品的工具可用性和拒答行为也不同。

一张迷因用两组挖掘的人对比初创公司和大公司。Phi-3 给出了总体描述，但没有抓住预期对比；本地模型描述了画面，却没有解释笑点。GPT-4o 抓住了人人都在工作，与一人工作、其他人旁观之间的预期对比。

对于一张表格截图，Phi-3 生成了 CSV 表示。本地模型则描述了表格，GPT-4o 使用其分析界面并提供了可下载的 CSV。我觉得 Phi-3 的回答尤其快，而 ChatGPT 的结果包含文件；两者是不同的产品工作流。

这次简短测试的结论是：Phi-3 Vision 尤其令人印象深刻，GPT-4o 在多个较难示例中表现良好，本地 LLaVA 配置则常常局限于图像描述。在这次具体测试中，我选择 Phi-3 作为最喜欢的模型。样本很小，提示词和工具也不相同，因此这一结论不应视为当前模型排名。