2024 年 7 月 AI 新闻：小模型、语音工具与 OpenAI 安全问题

一则报道称，Apple 可能获得 OpenAI 董事会的观察员席位，前 Apple 营销负责人 Phil Schiller 被选中担任这一角色。考虑到 Apple 宣布集成 ChatGPT，以及 Microsoft 对 OpenAI 的投资，我觉得这一据报道的安排很引人注目。录制视频时，我讨论的是一则报道，并不是确认任命已经生效。

按照 Apple 公布的方案，大部分自有 AI 处理将在设备端或其私有云中完成。对于需要外部知识的请求，拟议的体验会先征求用户同意，再把请求发送给 OpenAI。我认为，这让 Apple 在合作中保留了相当大的控制权。

Salesforce 首席执行官 Marc Benioff 宣布推出 Einstein Tiny Giant，又称 xLAM 1B，是一个拥有 10 亿参数的函数调用模型。公司称，该模型在其比较中对阵更大的模型表现强劲。这类声明针对的是接受评估的任务，并不代表所列模型的全部能力。

我非常看好端侧 AI 和智能体。我设想的架构由一个通用模型协调多个小型专用模型，而云端前沿模型则留给更困难的工作。我预计这样可能改善隐私、延迟、成本和效率，但这些是我的预测，不代表每个应用都有实测结果。

下一个项目是开放科学实验室 Kyutai 推出的实时语音模型 Moshi。演示介绍了一套能够听和说、同时处理音频流并表达情绪的系统。开发者还讨论了合成语音数据、适用于消费级硬件的小型版本，以及开放发布的计划。

团队提到约 200 毫秒的端到端延迟，并讨论了为生成音频添加水印。我播放了一段简短示例，但自己尝试时，很难让时机和轮流发言稳定运作。其他人的效果似乎更好，等能够在本地运行时，我打算再试一次。

我认为，用自然语言与模型交互最终可能改变应用程序和操作系统的角色。我甚至预测，十年后将不再需要开发者。这是对未来可能情景的推测，而不是已经证实的结果。

在一段片段中，Andrej Karpathy 将新兴的模型驱动计算环境比作一种新计算机。在他的类比中，语言模型像处理 token 的处理器，上下文窗口则承担类似内存的角色。他说，人们还在学习如何有效地为这一系统编程并使用它。

ElevenLabs 推出了一款语音分离工具，旨在从嘈杂录音中提取人声。我播放了公司的示例，并设想它可用于采访或在嘈杂地点打电话；视频通话中实时使用只是我提出的想法，并非演示中经过验证的功能。

公司还宣布在 iOS 应用中提供名人声音，包括 James Dean、Judy Garland、Burt Reynolds 和 Laurence Olivier。ElevenLabs 表示，它与这些名人的遗产管理方合作。我认为，这是遗产管理方授权 AI 媒体使用个人声音或形象的早期例子。

Perplexity 宣布更新 Pro Search，加入多步推理、Wolfram Alpha 和代码执行，以处理更复杂的问题。我并没有大量使用这项付费服务，因此我讨论的是公告，而不是声称进行了全面的独立测试。

一个例子将观看北极光的最佳时间和地点问题拆解成多个步骤；另一个利用外部计算解决数学编程问题。我推测可能有类似智能体的框架协调这些步骤，但仅凭公告无法确认其实现方式。

Meta 推出 Meta 3D Gen，一套据称能在一分钟内生成带纹理资产和材质贴图的文本转 3D 系统。我引用的性能和质量比较来自项目方的声明；我还指出，研究人员发表了介绍这项工作的论文。

我设想未来游戏和其他媒体能够针对单个观众动态生成。这是一种预测，并不是这项文本转 3D 公告所展示的能力，同时也引出了对艺术家影响的问题。

Nomic AI 发布 GPT4All 3.0，这是一款在本地运行语言模型的开源桌面应用。我回顾了它在初代 Llama 泄露后，早期帮助人们使用本地模型的作用。我是 Nomic AI 的投资者，这一关系已随视频披露。

此次更新重新设计了界面，支持在主要操作系统上使用许多模型，并提供本地文件对话。我使用过它，认为对于不想管理本地推理全部技术细节的人来说，界面容易上手。应用本身采用 MIT 许可证。

Anthropic 宣布一项资助第三方评估先进模型的计划。评估可以帮助衡量模型的能力、安全性以及在商业场景中的一致性，但高质量的安全测试很难开发。

如果模型开发者用基准测试中的问题训练模型，静态基准也可能发生过拟合。因此，我认为有必要进行新颖、多样的评估，测试包括安全在内的广泛能力。Anthropic 邀请外部组织申请资助。

Microsoft 研究人员报告了一种名为 Skeleton Key 的越狱方法，通过多轮对话试图改变模型对安全限制的处理方式。我将它与过去把有害请求包装成教育或虚构场景的尝试相比较，并指出报告涉及多个模型系列。

受影响模型的名单及防御状态反映的是该报告和 2024 年这次讨论时的情况。我推测修复可能很快出现，但没有确认每项受影响的服务都已打补丁。

一名开发者发现，Mac 版 ChatGPT 应用在本地以明文存储对话。该问题受到媒体关注后，OpenAI 发布了加入加密功能的更新。在此之前，能够访问本地计算机的人可能看到这些已存储的对话。

我讨论了 Apple 应用商店沙盒要求与直接从网站分发软件之间的权衡。我更广泛的担忧是，处理个人对话的软件应当妥善保护这些内容；我也感谢了发现问题的研究人员。

另据《纽约时报》报道，一名攻击者在 2023 年访问了 OpenAI 的内部消息系统。根据此处讨论的报道，公司高管没有公开披露该事件，因为没有客户或合作伙伴的信息被盗。

我还提到 OpenAI 前员工 Leopold Aschenbrenner 的安全担忧，以及他的文章《Situational Awareness》。我描述了相关争议和他离开公司的情况；视频中关于他被解雇原因的说法是一项指控，此处没有独立证实。

我担心外国对手可能窃取敏感 AI 技术，而不是自行研发。我推测如果某个国家率先实现通用人工智能，这可能意味着什么；这一情景以及我对随后出现智能爆炸的说法都是预测，并非既定事实。