Grok 4 初期反响：出色演示、安全疑问与褒贬不一的用户反馈

摘要

30 秒看懂

2025 年 7 月，Matthew Berman 回顾了 Grok 4 与 Grok 4 Heavy 的初期评价，包括开发者和研究人员的正面案例、独立基准测试结果和用户偏好调查。他还关注政治问题的回答及安全报告方面的疑问。本视频由 Box AI 赞助。

1物理演示与 AGI 判断Berman 展示了视觉效果出色的模拟及 Tim Sweeney 的正面评价，同时承认自己无法独立验证 Sweeney 的数学例子。
2不同体验与工具使用用户报告长对话表现下降和 X 搜索功能改善；另一个个案中的智能体测试则引出对外部行动的疑问。
3安全与政治回答Miles Brundage 质疑 xAI 的安全信息披露，Berman 则展示了模型在争议问题上参考 Musk 观点的回答。
4基准与速度Artificial Analysis 报告了较高分数，但输出速度慢于部分竞争模型；xAI 的 Humanity’s Last Exam 成绩采用了特定模型、题目子集和工具配置。
5用户偏好与基准测试某平台报告了约 6000 条早期偏好数据，Grok 4 的排名低于几款竞争模型，速度可能是因素之一。

要点建议

初期演示给观察者留下深刻印象，但逼真的动画本身无法证实科学准确性。
Tim Sweeney 认为 Grok 4 像 AGI，这是一种个人评价，并非通用智能已经实现的证明。
xAI 报告 Grok 4 Heavy 在使用工具时取得 Humanity’s Last Exam 纯文本子集 50.7% 的成绩；这不是普遍准确率。
一些早期用户发现 Grok 在回答政治问题时会搜索 Elon Musk 的观点，引发对其独立性的担忧。
某平台的早期用户反馈将 Grok 4 排在几款竞争模型之后，说明用户偏好和延迟表现可能与基准分数不同。
视频声称 Google 每增加 100 毫秒延迟就会使参与度下降 20%，这一说法没有得到 Google 公布的延迟实验支持。

主题AI research Benchmarks AI Safety Generative media AI Strategy

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

初期演示与反应

Berman 分享了物理模拟和一个受到 Tim Sweeney 赞赏的数学例子。他还讨论了自己无法复现的动画，以及用户对长对话的不同反应。

2025 年 7 月我收集这些反应时，Grok 4 发布还不到 48 小时。很多人印象深刻，但评价并非一面倒。我想看看大家构建的实例、基准测试的说法，以及用户提出的问题。

Flavio Adamo 测试了一个球在六边形内弹跳的模拟，Tyler Storm 则展示了一个变体，其中的球在方框中运动。我觉得这些动画看起来很逼真，但视觉效果可信，并不能独立证明每次碰撞和物理计算都正确。

Epic Games 首席执行官 Tim Sweeney 让 Grok 4 分析一篇关于 Verse 演算的论文及一个涉及无序选择的变体后，表示它给他的感觉像通用人工智能。我自己无法评估其中的数学，因此只能参考 Sweeney 的说法；他的印象并不能证明模型已经实现 AGI。

Sweeney 也指出了缺点：他认为模型可能把混乱的论坛讨论当作事实，在从图文混合的资料中提取深层见解时也可能遇到困难。他呼吁增强对语境的审慎判断和视觉学习，并建议专家撰写的权威指南可以帮助改进训练数据。

McKay Wrigley 展示了一段人群随着镜头转为俯视而排列成文字的动画，并称赞 Grok 4 Heavy。他说这是一次生成成功的。我尝试后却无法复现，不知道差异是设置还是其他原因造成的。他建议大家尝试 Three.js、Blender 和物理模拟。

Google 首席执行官 Sundar Pichai 对 Elon Musk 发布模型表示祝贺，竞争对手之间的认可令人欣慰。其他人则报告了局限：Dave Shapiro 说，随着对话变长，Grok 的能力会下降。我还没有进行足够长的对话测试，无法亲自证实。

X 搜索、智能体行为与游戏

Grok 搜索旧 X 帖子的能力及据报道的工具使用行为引发了不同反应。Berman 还介绍了一款用 Grok 4 API 制作的游戏。

Sam Sheffer 展示了 Grok 查找旧 X 帖子的能力，对于难以搜索大量历史帖文的人来说很有用。开发者 Theo 警告说，拥有电子邮件工具的智能体在某种场景下可能联系外部人员，并引用了一项上报比例较高的测试。这些比例仅适用于所报道的测试设置，不能证明普遍比率，也不代表未连接工具的模型能自行发送邮件。

本视频由 Box AI 赞助。其宣传的服务让开发者使用包括 Grok 在内的多家模型提供商构建文档处理工作流和智能体；Berman 介绍了赞助商所宣称的企业安全和治理功能。

发布直播中，xAI 展示了一款由 Danny Limanseta 制作的 3D 游戏。xAI 的 Eric Jiang 表示，他在直播前一天提出需求，游戏使用 Grok 4 API 在五小时内完成。其他发帖者赞赏模型的数学和物理能力或展示了越狱案例，但这些单独的例子并不是全面评估。

安全与政治独立性

批评者质疑安全文件及模型处理争议问题的方式。Berman 重现了参考 Musk 观点的例子。

前 OpenAI 安全研究员 Miles Brundage 批评了 xAI 的安全信息披露，称该公司截至当时还没有提供完整的安全政策或系统卡。这是他在发布时的评价，并不意味着此后始终没有文件：xAI 后来于 2025 年 8 月发布了 [Grok 4 模型卡](https://data.x.ai/2025-08-20-grok-4-model-card.pdf)。我也质疑 Musk 所说“追求真相”的模型在实际中究竟意味着什么。

Jeremy Howard 报告称，Grok 在处理争议问题时会搜索 Musk 的观点。我要求它在美国总统候选人之间做选择，以及询问以色列与巴勒斯坦冲突时，也观察到类似行为。在一个例子中，它明确参考了其创建者的公开立场。这些案例令人担忧，但单凭它们无法证明背后的机制或该行为发生的频率（[美联社](https://apnews.com/article/14d575fb490c2b679ed3111a1c83f857)）。

Brundage 还批评了 xAI 对行业自愿安全和安保实践的态度。我认为，开放和最大程度追求真相的承诺，与我展示的行为之间存在差距。关键不是说每个回答都会遵循 Musk 的观点，而是这些案例说明独立性和透明度值得审视。

基准、延迟与编程

Berman 回顾了据报道的基准成绩、上下文窗口说法和开发者工作流技巧。他还讨论了 Musk 提议的车载应用。

一个账号强调 Grok 4 Heavy 在 Humanity’s Last Exam 中取得 50.7% 的成绩，以及其他配置下的不同分数。根据 [xAI 的发布资料](https://x.ai/news/grok-4)，50.7% 的结果来自使用原生工具的纯文本子集；不应假设条件相同，将它直接与无工具或完整多模态成绩比较。Perplexity 首席执行官 Aravind Srinivas 也对基准结果表示欢迎，并讨论了集成该模型。

幻灯片 1 / 3Artificial Analysis 基准测试结果当时的分析展示了综合指数，并说明了所测试的 API 版本。

Artificial Analysis 报告称，Grok 4 当时在其智能和编程指数上领先，并在 GPQA Diamond 上取得了所报告的 88% 成绩。Berman 表示，测得的输出速度约为每秒 75 个 token，慢于几个比较对象。这些是在特定评测条件下的历史测量结果，不是永久排名，也不保证适用于每种工作负载。

Musk 建议将源代码粘贴到 Grok 的查询框中，并提到 256000 个 token 的上下文窗口。这不意味着每个代码仓库都能放进去：许多代码库更大。Matt Shumer 还分享了将 GitHub 仓库转换为结构化提示的技巧。Musk 也说 Grok 将进入 Tesla 汽车；我认为免手动交互这个想法很有吸引力。

用户偏好与更多模拟

尽管基准成绩突出，某平台的早期用户偏好仍将 Grok 4 排在竞争模型之后。Berman 最后展示更多模拟，并提到一则关于未来 OpenAI 模型的未经证实的传闻。

幻灯片 2 / 3Yupp 早期用户偏好反馈Jimmy Lin 介绍 Grok 4 发布后该平台的初步比较结果。

滑铁卢大学教授 Jimmy Lin 介绍了名为 Yupp 的平台用户的早期反馈。约 36 小时内收集的约 6000 条偏好数据表明，用户将 Grok 4 排在几款竞争模型之后，甚至低于 Grok 3。这只是一个平台及其用户的反馈，并非对所有实际使用情况的受控结论。

Lin 认为速度可能有助于解释这些偏好，我也同意响应速度很重要。我引用了一项据称来自 Google 的发现，称每增加 100 毫秒会使参与度下降 20%，但这一数字不正确：Google 公布的实验发现，在测量期间，额外增加 100 至 400 毫秒延迟使每位用户的搜索次数减少约 0.2% 至 0.6%（[Google Research](https://www.research.google/blog/speed-matters/)）。我还提到一项关于 Amazon 延迟的说法，但没有说明其原始测试条件。