Grok 2 测试版：Matthew Berman 测试推理与 FLUX 图像生成

摘要

30 秒看懂

Matthew Berman 回顾 xAI 在 2024 年 8 月发布的 Grok 2 测试版，并用弹珠谜题和 FLUX 驱动的图像生成测试 Grok 2 mini。他发现谜题回答错误、图像生成最初失败，随后生成了一些效果不错但并不总能遵循复杂提示的图片。

1Grok 2 和 minixAI 推出了两个测试版模型，并确认 LMSYS 排行榜上一个匿名模型是 Grok 2 的早期版本。
2评估事实准确性xAI 介绍了通过人工比较模型回答来评估指令遵循和事实准确性的方法。
3弹珠测试mini 模型的回答错误地将弹珠放在倒扣的杯子里面。
4图像生成最初失败后，Berman 成功生成图片，并发现某些复杂请求的遵循情况较差。

要点建议

xAI 将匿名模型 sus-column-r 确认为 Grok 2 的早期版本，同时发布了 mini 变体。
排行榜和基准比较反映的是 2024 年的测试条件，并不能证明模型在每项任务上的表现。
在这个例子中，Grok 2 mini 没有答对 Berman 的弹珠谜题。
图像生成起初失败，随后恢复，但并不总能遵循复杂提示。
FLUX 各变体的访问方式和许可条款不同；开放获取不意味着每个变体都完全开源。

主题Foundation Models Generative media 评估 Reasoning & test-time compute

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

测试版发布与基准

Berman 回顾 xAI 的模型公告、排行榜位置和评估方法。他结合 2024 年的背景讨论 mini 和较大模型。

据 xAI 称，名为 sus-column-r 的神秘模型是 Grok 2 的早期版本，而 Grok 2 测试版现已发布。我之前测试过这个匿名模型，因此这里将回顾发布公告，并尝试 mini 模型和图像生成。这是 2024 年 8 月发布时的记录，并非当前产品比较。

xAI 将 Grok 2 和较小的 Grok 2 mini 作为 Grok 1.5 的后续版本推出，具备聊天、编程和推理能力。发布时公司表示，这两个模型向 X Premium 和 Premium+ 用户开放，并计划推出企业 API。这次公告没有发布模型权重。

xAI 报告称，当时这个匿名早期版本在 LMSYS 排行榜上领先于 Claude 3.5 Sonnet 和 GPT-4 Turbo。我将其位置与若干 GPT-4o 和 Gemini 版本比较。这些排名取决于时间和方法，并不能证明某个模型在每项任务上都获胜。

公司介绍说，它让 AI 导师成对比较回答，重点考察指令遵循和事实准确性。公司还报告称，模型在对检索内容进行推理和使用工具方面有所改善，包括识别缺失信息和排除无关帖子。我重视事实准确性，但这些是 xAI 的评估说法，并不能保证回答真实。

幻灯片 1 / 3xAI 对评估方式的介绍发布说明介绍了人工比较回答的方法以及 xAI 使用的基准。

我比较了报告中 Grok 2 和 mini 的学术基准分数，发现许多结果相当接近。我预计较小的模型可能会更快、更便宜，不过这里并没有测量这一点，这只是推测。我也指出开放权重模型 Llama 3.1 405B 的对比表现很强。

这次发布包括重新设计的界面，以及与 Black Forest Labs 合作、使用 FLUX.1 的图像生成。我将该模型系列描述为开源，并把团队归于 Midjourney，但 Black Forest Labs 将其创始人与潜在扩散和 Stable Diffusion 工作联系起来；FLUX.1 各变体的许可也不同：schnell 使用 Apache 2.0，dev 使用非商业条款，pro 则通过 API 提供。

FLUX 与弹珠测试

他讨论图像生成合作，并用物理推理谜题测试 Grok 2 mini。模型没有答对。

我对一个在我的例子中似乎限制较少的图像生成器，以及 AI 提供商之间的竞争感到兴奋。不过，这些例子不能证明所有请求都会被允许，也不能证明不存在防护措施。能力、政策和可用性都可能变化。

我在 Grok 2 mini 的趣味模式中询问：一个装有弹珠的玻璃杯倒扣、放到桌上、拿起并放进微波炉后，弹珠最终在哪里。模型给出一段很长的回答，称弹珠最可能在杯内。我认为这是错误的：按通常理解，弹珠会掉出来或留在桌上，而不会跟着倒扣的玻璃杯移动。

幻灯片 2 / 3mini 模型对弹珠谜题的回答回答将弹珠放在倒扣的玻璃杯里，Berman 指出这是错误的。

图像生成与时事

最初遇到错误后，他生成了图片，并测试涉及公众人物和虚构角色的提示。他还询问新闻标题，指出合成图像正在广泛传播。

我最初多次请求生成羊驼图片，却反复遇到错误；我怀疑可能是负载造成的，但视频没有确定原因。我展示了其他用户生成的公众人物合成图像。它们出现在信息流中，并不能证明画面所描绘的事件真实发生。

幻灯片 3 / 3生成的羊驼图像在之前出现错误后，界面根据简单提示生成了一张图片。

大约一小时后，图像生成恢复，简单的羊驼提示生成了一张图片。接着我尝试虚构角色和几个公众人物提示，包括一张刻意设计得荒诞的 Elon Musk 图片。有些输出可以辨认，另一些则遗漏了请求中的部分内容；它们是生成图像，而非真实事件的照片。

我要求生成不同造型的 Mark Zuckerberg，以及一位 Breaking Bad 角色，结果有好有坏。一个涉及 Zuckerberg、Musk 和 Donald Trump 的更复杂提示，也没有清晰呈现所请求的场景。在我看来，图片看起来很精致，但在这次小规模测试中，对复杂提示的遵循并不可靠。

最后，我询问当天的新闻标题，得到一份时事列表。Grok 访问 X 帖子的能力可以提供较新的信息，但生成的新闻标题仍需核实。最后我指出，醒目的公众人物合成图像正在平台上迅速传播。