2024 年 Grok-1 权重发布后测试 X 上的 Grok

2024 年 3 月，xAI 以 Apache 2.0 许可发布了 Grok-1 的权重和架构，这是一个 3,140 亿参数的混合专家基础模型。发布的检查点没有经过对话微调。我无法在本地运行它，因此改为测试 X 上的 Grok 服务；该托管产品及其搜索工具不构成对新发布原始检查点的受控测试。

X 界面可以展示平台上的近期信息。我的第一个编程提示词要求输出 1 到 100，模型生成了正确的 Python 循环。一个贪吃蛇游戏请求似乎使用了搜索，并返回带有代码的相关帖子，因此产品的工具访问能力也是观察结果的一部分。

生成的贪吃蛇游戏启动后立即因变量错误崩溃。我把错误粘贴回去并尝试修改后的代码；它短暂运行后又因另一个错误失败。在不手动调试的测试条件下，我将其判为失败。这不能证明模型在其他条件下永远无法生成可运行的游戏。

我还用一个可能有害的请求探测托管产品，观察到它作出回答而不是拒绝。单个提示词不能确立普遍的内容审核政策或整体安全性；拒绝协助有害行为本身也不是普通任务失败。

对于晾衬衫问题，Grok 将四小时除以五件衬衫，再乘以 20，得到 16 小时。我在视频中判它通过，但题目并不能支持这种按单件计算的方法：空间足够、同时晾干需要四小时，而每批五件、连续晾四批需要 16 小时。提示词没有说明容量，因此答案需要明确假设。

在速度排序问题中，回答说 Jane 比 Sam 快，但开头却说“是”，尽管我问的是 Sam 是否比 Jane 快。我认为其解释通过了测试，但直接的是否回答与给定排序相矛盾。模型正确回答了简单加法和算式 25 − 4 × 2 + 3。

模型声称自指回答包含 12 个词；我数出十个，因此判错。在房间里杀手数量的谜题中，它计算出原来的两名幸存杀手加上进入者，共三人。如果问题统计的是活着的人，这就是预期答案；把死者也算入则属于另一种解释。

一个结构化数据提示词生成了描述三个人的 JSON 对象。在杯子和弹珠谜题中，即使我澄清杯子保持倒扣，模型仍说弹珠随杯子进入微波炉。按照仅从桌上提起杯子的通常假设，弹珠会留在桌上；题目措辞和操作假设都很重要。

对于一道追踪人物认知的问题，Grok 说 John 认为球在盒子里，Mark 认为球在篮子里，与各自最后放置球的位置及掌握的信息一致。要求生成十个以“Apple”结尾的句子时，它从第二句开始未能满足条件，说明看似简单的输出约束也可能被遗漏。

最后，模型估计，如果五人同时工作且合计挖掘速度保持恒定，他们可以在一小时内挖好一个洞。我在该假设下接受了答案，同时指出实际工作未必能线性加速。总体而言，我认为这次测试很有希望，但这些有好有坏的结果来自带搜索功能的托管界面中的少量提示词，不能确立普遍排名或原始检查点的行为。