xAI 以 Apache 2.0 许可发布 Grok-1 基础模型权重

Matthew Berman 报道，xAI 于 2024 年 3 月 17 日发布了 Grok-1，此前不久马斯克公开批评并起诉了 OpenAI。Berman 认为马斯克的动机部分是施加竞争压力和个人不满；发布公告并未证明这些动机，诉讼中的指控也不是既定事实。

Berman 回顾马斯克批评 OpenAI 名称的帖子，并讨论 X 上的反应。他支持开放获取 AI 模型，随后评论有关 OpenAI 高管的公开猜测。他对这些人动机和角色的印象属于个人评论，而非关于公司内部决策的经核实信息。

此次发布包含一个 3140 亿参数的混合专家基础模型。xAI 仓库说明该模型有八个专家，每个 token 选择其中两个，并提供用于加载检查点和采样的 JAX 示例代码。视频中显示的下载文件有数百 GB；运行示例需要大量显存。

xAI 以 Apache 2.0 许可发布了相关代码和权重。公告称，该检查点来自 2023 年 10 月完成的预训练，未针对对话等特定应用进行微调。发布权重和示例代码，不应被理解为同时发布了全部训练数据或完整的托管产品。

Berman 说，相较于 GPT-4，他此前使用托管 Grok 助手的体验只能算尚可，但他看重其访问 X 信息的能力。这是他的非正式比较，并非受控基准测试。实时访问是一项产品集成，不会随可下载的基础模型检查点自动获得。

Berman 认为，访问 X 为 xAI 提供了独特的数据来源，并讨论 Twitter API 的变化。发布公告称模型在大量文本上训练，但没有披露完整数据集，因此视频不能确定具体使用了哪些 X 帖子或其所占比例。

他强调发布的是基础模型检查点，并认为它几乎没有审查。没有进行对话微调，并不能证明不存在安全行为，也不能确定模型会如何回应每一项请求；输出还取决于后续微调和模型周围的系统。

Berman 最后邀请观众提出是否希望看到更完整的测试。对于能够使用这一大型检查点的开发者，这次发布具有意义，但他的评论没有系统评估模型的能力或安全性。