SearchGPT、Llama 3.1 和 AlphaProof：2024 年 7 月 AI 新闻综述

2024 年 7 月的这一周出现了多项重要 AI 发布。我先谈 Meta 的 Llama 3.1，之前我已在其他视频中介绍过。Andrej Karpathy 称赞这款 4,050 亿参数模型具有前沿能力，并将它与 GPT-4 和 Claude 3.5 Sonnet 相比；这些比较是他的评价，并非适用于所有情况的基准结果。

Karpathy 强调了可下载权重，以及微调、蒸馏和合成数据等用途。Meta 的许可证允许多种商业用途，但附带条件和限制，因此“开放权重”不应与不受限制的开源许可证混为一谈。马斯克也称赞了马克·扎克伯格和 Meta 的这次发布。

马斯克表示，xAI 已在孟菲斯使用配备 10 万块液冷 H100 GPU 的集群开始训练，并称其为最强大的 AI 训练集群。他预测到 2024 年 12 月将推出领先模型。这些是他的主张和预测，并非独立验证的排名；我也提到他常提出雄心勃勃的时间表。

OpenAI 宣布了 [SearchGPT](https://openai.com/index/searchgpt-prototype/)：这是一个将 AI 答案与网页信息及来源链接结合的临时搜索原型。OpenAI 表示正在小范围测试，并计划将最好的功能整合进 ChatGPT。当时我认为它将与 Perplexity 和 Google 竞争，也是供应商推出竞争产品所带来的平台风险的例子。

原型演示搜索了北卡罗来纳州 Boone 的音乐节，并提供来源链接。后续提问会保留对话上下文。我已经用 ChatGPT 和其他模型处理大量搜索，不过我的个人使用习惯和热情并不能证明搜索答案总是准确的。

Mistral 在 Llama 3.1 发布后不久推出了 Mistral Large 2。该公司称模型在编程、数学、推理、多语言支持和函数调用方面有所改进。我当时还没有亲自测试，计划做更全面的评估。

Mistral 的图表将其 1,230 亿参数模型与更大的竞争模型比较。我引用展示中的平均代码生成分数：Mistral Large 2 为 76.9，GPT-4o 为 77.9，Llama 3.1 405B 约为 75。这些是厂商在特定设置下报告的结果，不能证明某个模型在所有任务上都获胜。

Mistral Large 2 为单节点推理设计，拥有 128,000 token 上下文窗口并支持多种语言。其[研究许可证](https://mistral.ai/news/mistral-large-2407/)允许研究和非商业用途的使用与修改；商业自部署当时需要另行取得许可证。权重可下载不代表商业使用不受限制。

Meta 表示，由于监管不确定性，即将推出的多模态 Llama 模型不会在欧盟发布。我对此感到失望，并将决定归因于过度监管，但这是我的政策观点和 Meta 给出的理由，不能证明唯一的法律原因。我还提到 Apple 当时宣布的欧盟发布顾虑，以及 Meta 在巴西暂停相关计划。

Stability AI 发布了 Stable Audio Open 的研究成果。这是一款开放权重的文本转音频模型，可生成 44.1 kHz 立体声音频，最长约 47 秒。我设想将生成的音效、语音和视频组合起来，也提到本地微调。硬件需求和允许的用途取决于具体模型及许可证。

Stability 报告称，它使用了来自 Freesound 和 Free Music Archive 的近 50 万条授权录音，并在数据整理中筛查音乐。我把输出称为不受版权限制，但授权或 Creative Commons 训练素材仍可能受版权保护，这也不能保证每个生成输出都没有权利限制。应查看适用许可证和具体情况。

我试听了雨打屋顶、硬币掉落、嘻哈鼓循环和音频标识等示例。这些样本展示了音效的潜在用途，但不能证明每个生成结果都无需审查即可使用。

一篇报道引用 Sam Altman 的话称，GPT-4o 高级语音功能的 alpha 测试将在当月晚些时候开始，全面开放则会更晚。我期待亲自测试。这是 2024 年 7 月的发布预期，并非对当前可用情况的承诺。

路透社转述报道称，OpenAI 曾与 Broadcom 讨论开发 AI 芯片，并招聘有相关芯片经验的人才。我猜测，随着模型变得更易获取，定制硬件和高效推理可能成为竞争优势。报道中的讨论并不能证明已经存在完成的芯片。

美国参议员致信 OpenAI，询问安全和雇佣做法。我提出，与监管者合作也可能帮助现有企业提高小型竞争对手的进入门槛，但监管俘获是我的解读，而不是这封信所确立的事实。

议员询问 OpenAI 如何履行安全承诺、评估进展以及降低网络安全风险，并问它是否会遵守此前将 20% 算力用于安全研究的承诺。我将这个问题与对齐研究人员离职的报道联系起来；信函是在要求提供信息，并未证明实际分配了多少算力。

信中还询问了禁止诋毁协议、可能惩罚提出问题员工的条款、内部举报程序及防范模型失窃的措施。我预计公司只能笼统回答部分安全问题，以免泄露敏感细节。

另一个问题是 OpenAI 是否会向美国政府机构提供下一代基础模型，供部署前测试。我理解独立审查的需求，但质疑政府是否有足够的专家。这是我的观点，并非政府测试无效的结论。

Sam Altman 表示 GPT-4o mini 微调已上线。我将其描述为托管的闭源模型，用户可以为特定任务进行调整；在此前的个人测试中，我喜欢它的速度和文本成本，觉得图像输入不那么有吸引力。这些观察只适用于当时的服务和价格。

马斯克通过社交媒体投票提出让 Tesla 向 xAI 投资 50 亿美元，按照他的表述，前提是获得外部估值。投票显示 67.9% 的受访者支持。我希望他更清楚地解释商业理由；投票不等于董事会批准，也不能证明投资已经完成。

我介绍了一个针对 Llama 3.1 的越狱演示，其中出现了被禁止或不想要的回答。演示中的绕过行为引发安全担忧，但它并不是对模型在各种条件下防护能力的完整评估。

我讨论了一篇预测 OpenAI 在 2024 年可能亏损 50 亿美元的报道，其中包括对基础设施支出的估算，并推测 AI 投资的经济状况和市场可能出现的调整。这些是预测和我的解读，而非经审计的结果。我所说 Microsoft 拥有 OpenAI 一半股权，不应被视为已确认的持股比例。

我仍认为 ChatGPT 是重要的消费者产品，但认为模型提供商需要推理速度、多模型选择或专业定制等差异化优势。我认为通用智能将变成商品的看法是一种预测，而非已确定的市场结果。

Google DeepMind 宣布，AlphaProof 和 AlphaGeometry 2 合计解出了 2024 年国际数学奥林匹克竞赛六道题中的四道，经数学家评分获得 42 分中的 28 分。这一分数处于银牌区间；这些系统并没有作为参赛者获得正式奖牌。

AlphaProof 处理形式数学推理，AlphaGeometry 2 解出了几何题。[研究人员](https://deepmind.google/blog/ai-solves-imo-problems-at-silver-medal-level/)先将题目人工翻译成形式语言，系统对部分题目最多耗时三天；人类参赛者则参加两场各 4.5 小时的考试。这个结果令人印象深刻，但并非同等条件的比赛。

我将数学进展与 Leopold Aschenbrenner 的观点联系起来：能够改进自身技术的 AI 可能加速进一步的发展。发现新数学和智能爆炸仍是未来的推测性可能，并非 IMO 实验已经证明的结果。