Grok 4：基准测试、多智能体推理与发布演示

Grok 4 刚刚发布，我认为它在前沿模型中代表了一次显著的进步。这是我对 2025 年 7 月发布会上展示结果的判断，并不保证它在每项任务中都是最好的。

发布会的图表梳理了 Grok 系列从下一词元预测，到 Grok 3 及其推理版本，再到 Grok 4 的发展。xAI 描绘了预训练之外的后训练强化学习算力大幅增加；训练投入的变化是该公司解释新模型的核心。

可验证奖励强化学习向模型提供答案可以检验的问题，并奖励正确解答。比如，让它计算 2 + 2，答出 4 就给予奖励。我认为，把这种方法反复用于难得多的问题，有助于激发推理行为。

据我理解，xAI 曾难以找到足够多有已知答案的书面问题。埃隆·马斯克提出，可以从现实世界获取反馈。我认为，与物理环境互动可能提供多得多的可验证结果，尽管如何把这些结果转化为有用的训练奖励本身也是实践难题。

Humanity’s Last Exam 涵盖数学、物理、生物、社会科学、计算机、工程等领域的专家级问题。发布会用它展示了 xAI 为 Grok 4 增加工具和算力后，模型成绩如何变化。

图表显示 Gemini 2.5 Pro 得分 21.6%，OpenAI o3 为 20%，o4-mini 为 18%；不使用工具的 Grok 4 为 26.9%。这些是发布时展示的成绩，并非永久有效的模型排名；比较也取决于各项测试的配置。

xAI 报告称，Grok 4 在使用网页浏览和代码执行等工具时得分 41%。使用工具并增加测试时算力后，图表显示的成绩达到 50.7%。这些配置使用的资源不同，因此不能把三个数字当作可以互换的单模型成绩。

我过去主要把额外的测试时算力理解为给模型更多思考时间。Grok 4 Heavy 采用多智能体方法：xAI 描述多个智能体处理一道题，再组合或选择结果。发布会将更多算力与更好的表现联系起来，但比较结果时，具体配置很重要。

视频包含 Abacus AI 的赞助环节，该公司提供多个模型和智能体工具的使用服务。赞助环节后，我展示了自己购买的 Grok 4 Heavy 订阅，并简短演示其界面。

我给 Heavy 一道来自 Humanity’s Last Exam 的数学题，虽然我自己也不敢说看懂了这道题。界面出现四个智能体，开始各自处理问题。屏幕显示了进度，但这段简短画面不能证明它们如何共享信息，也不能证明最终答案是否正确。

我区分的是 Grok 4 的单智能体体验和 Heavy 的多智能体方法。Heavy 很贵，但我想在另一段视频中更全面地测试它。xAI 还在发布会上展示了几项现场演示。

在一段发布会片段中，一位 xAI 演示者利用 Heavy 和外部信息估算世界大赛的胜率。模型运行大约四分半钟后，给出 Dodgers 夺冠概率为 21.6%。这是对未来事件的预测，并非已经证实的结果，也不能证明存在投注优势。

另一位演示者展示了两个黑洞碰撞的可视化。他表示，为了便于观看，波的尺度及其衰减都经过了夸张处理；代码在黑洞附近使用的是后牛顿近似，而非完整的广义相对论计算。这是一项说明性演示，并非经过验证的合并模拟。

第三项发布演示利用 X 帖子制作 Humanity’s Last Exam 成绩公布及反响的时间线，其中包括对泄露成绩的讨论。我认为收集实时信息的能力很有用，但具体帖子和传闻中的结果仍需核实。

发布会图表报告称，不使用工具的 Grok 4 在 GPQA 上得分 87，Heavy 得分 88.9；我猜后者使用了工具，但视频没有确认其确切配置。图表还显示 AIME 2025 得分 100%、LiveCodeBench 得分 79.4、Math Arena 得分 96.7。这些是特定测试中报告的结果，不能证明它在每一项现实任务中都有同样表现。

我认为 Gemini 2.5 Pro 的编程能力很强，但我自己还没有测试 Grok 4。再看我的 Heavy 测试，已经过去近六分钟，界面只显示各智能体的进度，没有展示思维链。

ARC-AGI 要求模型从示例中推断规律，再将其用于陌生的视觉任务。我展示的成绩是 ARC-AGI-1 得分 66.6%，ARC-AGI-2 得分 15.9%。ARC Prize 团队依照其评测政策独立测试了 Grok 4；这些结果有助于了解模型在相关任务上的表现，但不能证明系统已经实现 AGI。

ARC Prize 总裁 Greg Kamradt 称，15.9% 的成绩突破了低分区间的噪声范围，并指出接受测试的模型预定面向公众使用。我认为，这一结果说明模型在此基准上的泛化能力更强，同时也认识到这个基准测试的任务范围有限。

我将这些测试与 Vending-Bench 作比较，在后者中，模型需要管理库存和预算。图表显示 Grok 4 的结果约为 4700 美元，其他几个模型的结果明显较低。我在视频中称它为现实世界测试，但 Vending-Bench 实际上是一个模拟自动售货业务环境：这些数字是模拟结果，不是真实机器的收入。

xAI 还向一名游戏开发者提供了预览版 API 访问权限。一位发布会演示者说，开发者在四小时内制作了一款第一人称射击游戏，并介绍了模型如何协助寻找素材。演示中有人类指导和现成素材参与，不能证明 AI 独立制作了一款商业规模的游戏。

马斯克预测，下一年将出现一款真正优秀的 AI 游戏。我怀疑 AI 能否在这个时间表内制作出规模相当于 Assassin’s Creed 或 Halo 的游戏。他提出模型需要能够玩游戏并判断游戏质量；在我看来，品味和体验策划会让人类在相当一段时间内继续参与。

在 2025 年 7 月发布时，Grok 4 可通过应用和 API 使用。公布的功能包括 256,000 token 的上下文窗口、多模态推理和实时搜索；我认为单凭“企业级安全”这个说法太模糊，无法判断其含义。

我展示的发布定价是 SuperGrok 每月 30 美元，SuperGrok Heavy 每月 300 美元或每年 3000 美元，后者提供更高的使用限额和新功能的抢先体验。这些是历史价格。我的数学题运行近 15 分钟后仍未结束，四个智能体中有三个看起来离完成还很远。

马斯克表示，Grok 4 使用第六代基础模型，第七代模型正在训练。xAI 当时公布的路线图包括 2025 年 8 月推出编程模型、9 月推出多模态智能体、10 月推出视频生成模型。这些是发布时的计划，并非已经确认的交付日期；我很期待测试模型，但不确定时间表能否兑现。