Grok-1.5V 预览：视觉示例与新的空间理解基准

摘要

30 秒看懂

Matthew Berman 解读 xAI 的 Grok-1.5V 公告，比较公司公布的基准成绩，并展示涉及图表、照片、文字和空间问题的示例。他运行了一个提供的猜数字游戏程序，但没有独立测试预览模型本身。

1厂商公布的比较xAI 公布的零样本基准成绩因数据集而异。这些分数不能证明 Grok 在所有任务中都领先。
2从流程图到代码Berman 运行了根据手绘图生成的 Python 猜数字游戏。
3解释网络迷因一个公开示例解读了对初创公司和大公司的夸张对比。
4现实世界中的空间问题xAI 介绍 RealWorldQA，示例涉及物体、标志、驾驶场景和指南针。

要点建议

xAI 预览的 Grok-1.5V 除了处理文本，还能处理图像、图表、文档和截图。
公司公布的基准成绩有高有低：它在部分列出的测试中领先，在另一些测试中落后于其他模型。
Berman 成功运行了从流程图生成的 Python 猜数字游戏，其他示例则来自公司公告。
RealWorldQA 初始版本包含 700 多张图片，每张都配有空间问题和可验证的答案。
Berman 关于使用 Tesla 训练数据的推测未得到公告证实。

主题Multimodal AI Computer Vision Benchmarks AI research

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

多模态模型预览

Berman 介绍 Grok-1.5V 及其预告支持的视觉输入。他讨论这次预览，并希望模型权重能够开放。

xAI 预览了 Grok-1.5V，这是一款既能理解视觉输入，也能处理文本的多模态模型。2024 年 4 月的公告称，它可以处理文档、图表、截图和照片。视频录制时，它仍处于预览阶段，计划向早期测试者和现有 Grok 用户开放；我查看的是公司提供的示例，还没有独立测试模型。

我很期待它推出后亲自试用，也希望最终能够开放权重。此前发布的 Grok-1 已开放权重，但这不能确定 Grok-1.5V 的发布条款；开放权重也不自动意味着整个训练过程都是开源的。

基准测试比较

他查看 xAI 公布的模型比较结果。分数因基准而异，不能作为全面排名。

xAI 表示，该模型在多个多模态基准上具有竞争力，并特别介绍了新的空间理解测试 RealWorldQA。在公司[公布的比较](https://x.ai/news/grok-1.5v)中，Grok-1.5V 采用零样本评估，未使用思维链提示。这些成绩由厂商报告，结果有高有低，并不意味着它在所有方面都胜过每个竞争模型。

幻灯片 1 / 4xAI 的多模态基准表公司公布的分数显示，不同基准的领先模型各不相同。

在 MMMU 上，Grok 得分 53.6%，低于 GPT-4V 的 56.8% 和 Claude 3 Opus 的 59.4%。在 MathVista 上，它以 52.8% 领先所列模型；在 AI2D 图解测试中，它的 88.3% 略低于 Claude 3 Sonnet 的 88.7%。根据我自己的测试，Claude 3 Opus 能力很强，虽然我认为它速度较慢；这是我的个人体验，并非受控测量。

同一张表显示，Grok 在 TextVQA 上得分 78.1%，在 ChartQA 上得分 76.1%，在 DocVQA 上得分 85.6%。它在 RealWorldQA 上得分 68.7%，而 Gemini Pro 1.5 得分 67.5%。结果取决于具体数据集和评估条件，而且 RealWorldQA 由 xAI 自行创建。

图像、故事与代码

Berman 逐一介绍公司公开的演示，并运行猜数字游戏代码。他讨论了营养标签、故事、迷因、表格、露台照片和编程题。

幻灯片 2 / 4从流程图生成 Python手绘猜数字游戏流程图与提供的 Python 回答并列展示。

第一个公开示例将手绘流程图转换成 Python 猜数字游戏。流程图要求程序生成随机目标数字、读取猜测并判断是否正确。我把提供的代码复制到 Visual Studio Code 中运行：经过几次错误猜测后，游戏接受了正确数字。这只验证了一个公开示例，不能代表所有可能的流程图。

另一个示例向模型提供营养标签照片，询问五片食物含有多少热量。标签显示三片含 60 卡路里，因此示例回答算出五片约含 100 卡路里。这很好地展示了读取图像并进行计算的能力，类似早期的 GPT-4 Vision 示例。

我认为这类视觉界面未来可能在 AI 设备上很有用：把摄像头对准某个物体，就可以针对它提问。另一个示例把孩子的一幅简单画作变成睡前故事，画中有一个人和一艘船。生成的故事将这些元素串联起来，讲述了一个男孩和一艘纸船的经历。

一个示例要求 Grok 解释一张对比初创公司和大公司的迷因图。画面一侧是一群人一起挖坑，另一侧则是一个人挖坑，其他人站在周围。提供的回答指出，笑点在于夸张地对比直接参与和官僚作风；我觉得它理解这种类比尤其令人印象深刻。

幻灯片 3 / 4解释网络迷因模型公开的回答解读了初创公司与大公司之间的夸张对比。

示例还包括把表格图片转换成 CSV，以及解读露台螺丝周围木材的照片。对于后者，模型认为木材似乎正在腐烂，并建议更换受影响的木板。这个例子展示的是基于图片提出的建议，并非经过核实的检查，也不能证明露台的实际状况。

最后一个编程示例使用一张题目截图，要求找出整数三元组，并请模型编写 Python 代码。我觉得回答看起来合理，但这里没有简便的方法来测试，因此我假设这个示例可以运行。这并不是运行解决方案后得到的验证结果。

RealWorldQA 与空间理解

他讨论 xAI 的新基准，并查看其中的空间理解示例。他对 Tesla 数据的推测仍未得到证实。

幻灯片 4 / 4RealWorldQA 示例基准示例包括物体、驾驶场景和指南针。

另一个重点是 RealWorldQA。xAI 表示，该基准通过真实世界图片和带有可验证答案的问题，测试基本空间理解能力。我推测 Tesla 数据可能有助于 xAI 理解现实世界，因为有些示例展示了驾驶场景；X 上的文字也可能有用。公告说数据集包括匿名化的车载图像，但没有指出来源是 Tesla，也没有证实我对训练数据的推测。

一个示例询问部分被遮挡的剪刀和披萨刀哪个更大；给出的答案是它们大小差不多。另一个示例展示了一条左侧车道和一个要求车辆左转的标志。示例答案遵循标志，选择左转。

另一张驾驶图片询问一辆轿车能否绕过前方的灰色汽车，显示的答案是可以。我觉得这种看起来具备的空间推理能力很突出，也因此联想到驾驶系统；但静态图片示例并不能证明该模型可以安全驾驶车辆。

最后一个示例借助图片中的手机指南针，询问玩具恐龙面朝哪个方位；给出的答案是东。xAI 表示，RealWorldQA 初始版本包含 700 多张图片，每张都有一个问题和容易验证的答案。我很想亲自试用这个模型，也希望它开放权重；不过，这些都是我在 2024 年预览时的期待。