Grok 4 与 Heavy 实测:编程、图像、推理和实际问题

原标题Grok 4 and Heavy Tested: Coding, Images, Reasoning and Practical Questions

Matthew Berman 在 2025 年 7 月的动手测试中得到交互原型,也遇到若干失败;单个例子能够证明的内容有重要限制。

MBMatthew Berman讲者 · Forward Future
频道
Matthew Berman
发布
2025年7月11日
视频
26:09
阅读
7 分钟
幻灯片
6
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Matthew Berman 在 Grok 4 和 Grok 4 Heavy 发布后不久进行测试,涵盖流体模拟、长上下文检索、图像任务、视觉谜题、安全提示和建议场景。演示结果有好有坏;部分科学、法律和医疗输出未经独立验证,这些测试也不是受控模型比较。

  1. 1交互式编程烟雾模拟对障碍物和设置作出反应,但其科学准确性未获验证。
  2. 2实现结果有好有坏基础贸易图在视觉上可以运行,但所要求的动画和魔方模拟没有成功。
  3. 3上下文检索测试字符串从长篇摘录中被找出;第二个提示则找到了故事中的密码。
  4. 4未经验证的研究主持人没有启用深度研究模式,也未核实超导摘要。
  5. 5视觉 ARC 风格谜题模型输出与主持人的理解不符;这一提示不同于官方基准测试。
  6. 6医疗案例模型在假设案例中指出疑似心脏病发作;真实警示症状需要紧急救治。

要点建议

  1. 编程测试生成了交互式流体和生命游戏原型,但动画和魔方请求失败或需要修改。
  2. 少量成功的检索和图像示例无法衡量整体可靠性,也无法单独区分工具带来的影响。
  3. 室温超导摘要和经济学证明未经过独立验证。
  4. 一个视觉 ARC 风格谜题失败,但其测试方式并非官方基准流程。
  5. 医疗案例是假设情景;真正的心脏病发作警示症状需要立即急救。
  6. 观察到的记忆和安全回答反映的是 2025 年 7 月的特定测试,而非保证。
全文

按章节阅读整理后的全文

只看原始文稿
01

编程原型

Berman 测试流体模拟、生命游戏、贸易可视化、手部追踪和魔方。结果从可用原型到修改后仍失败都有。

在 2025 年 7 月发布后的一天内,我对 Grok 4 和 Grok 4 Heavy 进行编程、长上下文检索、图像、推理和实际问题测试。我对部分较难任务选择 Heavy,其他任务使用普通模型。这些是非正式、主要为单次运行的演示,并非受控比较,也不能可靠地给所有模型排名。

首先,我要求 Grok 4 Heavy 编写二维稳定流体模拟,输出一股烟雾。约八分钟后,它生成代码和 500 张图片,我将其依次播放。烟柱卷曲并对墙壁作出反应;这在视觉上很有趣,但并非经过验证的科学流体求解器。

接着,我要求制作带滑块和障碍物的浏览器版本。界面让我改变黏度、扩散、时间步长和浮力,绘制障碍并重置模拟。我可以看到烟雾对障碍物作出反应,尽管视频没有测试数值准确性。

交互式烟雾模拟
幻灯片 1 / 6交互式烟雾模拟生成的浏览器原型包含烟柱和流体参数控制。

第二个编程提示要求在 HTML 画布中实现 Conway 生命游戏。第一个版本能运行,但控制项很少。后续请求增加了更新速度、网格尺寸、单元格大小及其他设置;我认为结果不错,同时承认自己并不理解每个控制项。

生命游戏控制项
幻灯片 2 / 6生命游戏控制项生成的画布包含速度、密度和网格尺寸控制。

对于贸易流向的 D3 弦图,Grok 生成了一个包含四个国家的简单可视化,并提及数据来源。这不能证明显示的数值正确。之后要求添加动画,即使再次尝试,也没有按预期工作。

贸易流向弦图
幻灯片 3 / 6贸易流向弦图输出将四个国家可视化;数据数值未经独立检查。

接下来,我要求制作一个通过追踪指尖控制的桌面绘图应用。第一个版本能跟随我的手,并通过张开手掌清除画面。随后加入的颜色选择既别扭又不可靠,但后来基于手势的版本让我能够选择颜色,虽然并非完全符合要求。

在我的尝试中,即使经过修改,模型也没有生成可见的魔方模拟。我认为它不如自己此前测试的 Gemini 2.5 Pro;这只是个案比较,并非普遍基准结果。

02

长上下文、图像与安全回答

他检查检索、图像生成、迎合倾向以及对违法请求的回应。结果仅适用于这些特定提示。

在长上下文检索测试中,我把测试密码插入一段很长的书籍摘录深处,要求模型找出它。模型返回了插入的字符串。在没有插入密码的第二个提示中,它找到了故事中使用的密码;我认为它区分了这两个例子,但这并非针对不同位置和文本的系统性测试。

图像生成产生了几个我认为尚可的卡通宇航员版本和雨滴场景。一幅关于猫与量子力学的两格漫画却出现破损,文字大多无法阅读。我没有确定底层使用了哪个图像模型。

生成漫画示例
幻灯片 4 / 6生成漫画示例所请求的两格漫画布局异常,文字无法辨读。

为了测试迎合倾向,我描述了一个涉及辞职和抛弃孩子的不负责任计划。Grok 反对抛弃孩子,并讨论实际困难,而不是简单肯定计划。一次令人满意的回答不能证明行为始终一致,其法律和成本说法也不应被视为经过验证的建议。

我测试它如何处理违法行为请求。在这次运行中,它对一个车辆盗窃提示提供了详细信息,却拒绝了涉及非法毒品生产的请求。这些例子显示其边界并不一致;我不复述操作细节。

03

视觉理解与研究

模型描述照片并执行视觉搜索。超导摘要没有经过独立验证。

在图像理解测试中,我上传一个退役 Google TPU 展示物的照片,询问画面内容。模型描述了物体并读取标记,我认为结果正确。在另一张杂乱书桌照片中,它识别出许多物品和便条,我对照图片进行了检查。

我询问 Waldo 在海滩场景中的位置,并在 Grok 所描述的位置附近找到一个人物。回答界面还显示了网络来源,因此这是一个可能使用工具的特定场景中的成功观察,并非对纯视觉感知的干净测量。

我要求研究室温超导并提供引文,后来发现自己没有启用深度研究模式。我说答案读起来不错,但承认自己无法评估其科学摘要;视频没有独立核实引文和材料说法,也不能证明常压超导取得突破。

04

推理、谜题与记忆

Berman 考察经济学思想实验、ARC 风格网格、对话记忆和投资摘要。

一个第一性原理提示要求为空间殖民地设计交换媒介并证明其稳定性。Grok 提议由中央管理数字积分,并给出数学推理。我觉得很有趣,但无法验证证明,也不知道类似论证是否出现在训练中;看起来形式严谨的答案本身并不是证明。

我给模型一个视觉 ARC 风格网格谜题,并要求它生成答案的可视化。结果与我对规律的理解不符。这个单独的视觉提示不同于官方 ARC 基准流程,因此其失败不能等同于基准得分。

ARC 风格视觉谜题
幻灯片 5 / 6ARC 风格视觉谜题Berman 要求模型从彩色网格示例中推断规律。

在记忆测试中,一段字符串在同一对话经过几轮交流后被正确回忆出来。当我从另一个对话询问时,模型表示无法获取此前对话。这描述的是 2025 年 7 月该设置下观察到的行为,并非对未来记忆功能的永久保证。

我要求制作一份五页高管摘要,帮助评估是否投资 Tesla。内容涵盖财务表现、市场地位、风险和机会,我认为结构有用。其中事实及看似较新的信息并未在这里独立核实;输出也不是投资建议。

05

空间、写作、医疗与生活任务

最后的测试涵盖旋转、词数统计、创意写作、医疗场景、汉诺塔和职业规划。

一个空间问题要求描述立方体绕三个轴旋转后的朝向。我用实物立方体检查,并认为答案相符。提示没有明确轴和旋转约定,因此结果应视为我的非正式检查,而非唯一确定的数学测试。

在单词谜题中,Grok 回答“strawberry”中有三个字母 r。一个自指的词数统计提示让 Heavy 花了数分钟;后来普通模型的一次回答在我的词数统计工具中恰好是 43 个词。这些孤立结果不足以说明类似提示的可靠性。

创意写作请求生成了一段赛博朋克黑色小说开头,并包含指定的结尾句。我喜欢这个结果,同时指出许多模型都能写创意文字;视频中没有核实要求的词数。

一个医疗案例描述急性胸痛、出汗、肌钙蛋白升高和心电图变化。Grok 判断为前壁 ST 段抬高型心肌梗死,我认为这对该情景是合理回答。这是假设测试,并非临床评估;对于真实心脏病发作警示症状,[美国心脏协会](https://www.heart.org/health-topics/heart-attack/warning-signs-of-a-heart-attack)建议立即呼叫急救,而不是等待 AI 回答。

针对四个圆盘的汉诺塔,模型输出移动表,然后生成可视化。我看到这些移动达到目标,认为演示成功。可视化检查的是这组特定序列,并非所有可能的推理任务。

汉诺塔可视化
幻灯片 6 / 6汉诺塔可视化生成的终端显示逐步呈现一组特定圆盘移动序列。

最后,我要求模型为一位有 4 万美元积蓄、想从会计转向木工创业的人制定 12 个月计划。回答建议初期保留现有工作、保守预算、培养技能并设定里程碑。我认为该计划可作为起点,但成本和适用性取决于个人情况。

我邀请观众提出更多测试建议。总体结果有好有坏:在我的非正式试验中,几个原型和回答能够工作,而动画、魔方模拟、视觉谜题和图像文字暴露了局限。

同频道的其他文章

12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
0:26EN → 简体中文
Matthew Berman· 2026年10月25日Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中,Altman 思考解决难题的乐趣,以及人在解读结果时的作用。Human-AI CollaborationFuture of WorkAI Strategy
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
2 张幻灯片0:21EN → 简体中文
Matthew Berman· 2026年10月24日AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表,随后发现图中的数字只是示意性占位值。Benchmarks评估Generative media
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
Matthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1