2024 年 6 月 AI 新闻：SSI、树搜索、Meta、Claude 与 ARC Prize

在这期 2024 年 6 月的 AI 新闻汇总中，我讨论 Ilya Sutskever 的新公司、一项 AI 基础设施公告、一篇树搜索论文、Meta 的多项研究发布、Groq 语音转写、Claude 3.5 Sonnet 和 ARC Prize。这些公告与性能比较反映的是当时的领域状况。

离开 OpenAI 后，联合创始人 Ilya Sutskever 与 Daniel Gross、Daniel Levy 宣布成立 Safe Superintelligence Inc.（SSI）。公司表示将以安全超级智能为唯一重点，同时研究能力和安全。我欢迎又有一个团队将安全放在其公开使命的核心位置，不过使命声明不能证明具体的安全成果。

我阅读 SSI 的说法：它的商业模式将让安全、保障和进展免受短期商业压力影响，并将此与我对 OpenAI 激励机制的担忧作对比。前 OpenAI 安全研究员 Jan Leike 曾批评产品工作与安全之间的平衡，并表示承诺的计算资源没有兑现；这些是他报告的担忧，并非对每项内部决策细节的独立证实。

SSI 表示将在 Palo Alto 和 Tel Aviv 运营。我查看了联合创始人的背景：Gross 投资过科技公司，也曾在 Apple 和 Y Combinator 工作；Levy 则曾在 OpenAI 和其他大型科技公司工作。我好奇一家拥有如此长期使命的公司如何协调投资者和商业模式。

Michael Dell 宣布与 NVIDIA 共建 Dell AI Factory，为 xAI 的 Grok 提供支持。我展示与公告一同讨论的图片，并关注大量 GPU 带来的散热挑战。仅凭图片和评论，无法确定计划中的 xAI 系统的地点、完整设计或所有权。

复旦大学和上海人工智能实验室的另一篇研究论文探索了蒙特卡洛树自我精炼方法，即 MCTSr。一些评论者将其与传闻中的 OpenAI 项目 Q* 相比较，我觉得这种可能性很有意思。但公开论文没有证明它实现了 Q*，也没有揭示 OpenAI 内部项目的具体内容。

这种方法将蒙特卡洛树搜索应用于候选答案：选择一个解答，生成反馈和改进，对不同方案评分并更新搜索树。我认为这种迭代搜索是增强语言模型的有前景的方法。这是一种推理时流程，不应误认为模型通过自我对弈自主训练了自身的证据。

在研究人员[报告的结果](https://arxiv.org/html/2406.07394)中，LLaMA-3 8B 在 GSM8K 上从零样本思维链的 74.07% 提升到使用八次 MCTSr 搜索展开时的 96.66%。视频转述了它超过 GPT-4 的说法；但论文自己的比较表列出的 GPT-4 Turbo GSM8K 成绩为 97.1%。论文还报告，八次展开时 GSM-Hard 得分为 45.49%，因此结果取决于基准和额外搜索计算量。

Meta 宣布了 7B 和 34B 两种规模的 Chameleon 模型，这里介绍的版本支持混合模态输入和文本输出。其吸引力在于将模态整合进模型，而非把视觉当作单独的附加组件。[Chameleon 研究许可](https://github.com/facebookresearch/chameleon/blob/main/LICENSE)将使用范围限定为非商业研究；这并不是不受限制的开源发布。

Meta 还介绍了用于代码补全的多 token 预测。与只训练模型预测下一个 token 不同，这种方法预测未来多个 token；Meta 表示，它可以提高训练效率和速度。公告中的预训练代码模型使用非商业研究许可，我不太喜欢这一限制。

JASCO 是 Meta 的文本生成音乐研究，支持额外的条件输入，让用户有更多控制权。当时论文已经发布，模型承诺稍后推出。我播放了将音乐素材改编为不同编曲的示例，包括电子流行、中国传统风格、乡村音乐和迷幻 trance。

Meta 还宣布了 AudioSeal，这是一种旨在检测并定位 AI 生成语音的水印模型；此外还有关注地域和文化代表性的研究数据与代码。随着合成音频传播，我认为水印可能是有用的工具，但单凭一种水印系统无法普遍检测所有深度伪造内容。

Groq 宣布使用 Whisper large-v3 实现快速语音转文字。在录制过程中，我还看到 Anthropic 推出 Claude 3.5 Sonnet，这是其 3.5 系列的首个版本。这些都是 2024 年的公告，不应假定可用性、模型选项和价格仍与当时相同。

Anthropic 的[发布基准](https://www.anthropic.com/news/claude-3-5-sonnet)报告，在所列提示条件下，Claude 3.5 Sonnet 在 GSM8K 上得到 96.4%，在 GPQA Diamond 上得到 59.4%，在 HumanEval 上得到 92%。Anthropic 还称它以更低成本达到 Claude 3 Opus 两倍的运行速度。这些是公司公布的结果；该模型并非每一行都领先，比较也取决于评估设置。

Anthropic 还推出了 Artifacts 预览版：Claude 可以在对话旁的工作区生成文档、代码、Mermaid 图、矢量图形和简单游戏。我很期待竞争带来能力提升和价格下降，也有兴趣亲自测试这些模型。

ARC Prize 围绕视觉模式任务基准 ARC-AGI 发起公开竞赛。组织者用该基准衡量通向通用智能的进展；我称之为百万美元奖金，但这指的是更广泛的奖金池，而非证明 AGI 后简单获得的一笔奖金。2024 年[技术报告](https://arcprize.org/media/arc-prize-2024-technical-report.pdf)说明，私有评估集达到 85% 可获得 60 万美元大奖，此外还有其他奖项和条件。

ARC 示例提供输入输出网格，要求解题者推断变换规则。我解出一道将彩色方块补全成正方形的题，并介绍另一道让颜色向下移动的题。这类题目测试特定形式的抽象能力；仅凭这一基准上的成功，无法解决系统是否实现 AGI 这一更广泛的问题。

当时我查看的早期排行榜显示 MindsAI 约为 38%，远低于 85% 的目标。这是历史快照，并非最终竞赛结果或当前排名。根据组织者的报告，2024 年大奖最终无人获得。