WWDC 2024 的 Apple Intelligence：Siri、隐私与 ChatGPT

在 2024 年 6 月的 WWDC 上，Apple 推出了 Apple Intelligence，介绍了面向旗下设备的一系列生成式 AI 功能。我观看了发布会并评论 Apple 公布的内容。这些例子是当时的演示和未来计划，并不能证明所有功能已经可用或能够如展示般运作。

Apple 强调深度集成、个人上下文和隐私。我认为集成是它最大的优势：Apple 掌控硬件和操作系统，可以将助手与人们每天使用的应用和信息连接起来。只要处理得当，邮件、照片、消息和日常习惯都可能提供有用的上下文。

Apple 将个人智能与广泛掌握世界知识、却不了解用户的聊天工具进行对比。我将后来的 OpenAI 合作理解为一种补充广泛能力的方式，而 Apple 负责开发和控制周边体验。Apple 宣布支持 iPhone、iPad 和 Mac；我想知道 Vision Pro 的情况，发布会在这里没有提到它。

Apple 介绍了语言和图像生成，以及跨应用执行操作的能力。其他产品已有语言和图像生成功能，但我认为跨操作系统执行操作才是最重要的差异。Apple 有自己的模型，并将 ChatGPT 作为外部集成；Apple 还表示未来打算支持其他模型。

发布会展示了优先通知和系统级写作工具，可在 Apple 和第三方应用中改写、校对或总结文本。与现有工具相比，我不觉得这些功能本身新颖，但将它们直接放在人们工作的地方，可能使其方便得多。

Apple 还展示了利用照片图库中的人物生成个性化图像。我个人并不在意这项功能，但可以想象其他人会喜欢。我最想要的是，无论所需信息在哪个应用里，都可以让 Siri 完成任务。

例子包括查找别人分享的文件、寻找特定照片，以及播放配偶发来的播客。这些听起来简单，却可能节省时间。我最近花了大约半小时寻找几个月前交谈过的人；能在设备上跨应用查找相关信息的系统，可以帮助解决这类问题。

Apple 介绍了如何利用应用和屏幕中的信息，结合上下文回答问题。在一个假设例子中，系统综合改期的会议、孩子的演出和交通情况，判断用户能否准时到达。这种帮助需要敏感的个人信息，因此隐私架构直接关系到它是否有用。

我更喜欢本地模型，因为我不希望所有个人活动都发送到云服务进行存储和分析。Apple 表示，其架构尽可能在设备端处理，较复杂的任务则使用更大的服务器模型。这个区别很重要：Apple 并没有将 Apple Intelligence 描述成每个请求都一定在本地运行的系统。

Apple 表示，设备端模型和语义索引与系统集成，并由先进芯片支持；2024 年公告中包括 A17 Pro 和 M 系列芯片。我预计 Apple 会在面向公众的介绍中侧重用户能做什么，而非模型大小和技术基准，因为大多数消费者更关心功能本身。

对于更复杂的请求，Apple 推出了 Private Cloud Compute，在采用 Apple 芯片的服务器上使用更大模型。Apple 表示，个人数据只用于完成请求，不会保留，也不会向 Apple 开放。这些是 Apple 对其架构的隐私承诺，我没有在视频中独立测试。

Apple 还表示，独立研究人员可以检查服务器软件，设备不会向软件未公开记录供检查的服务器发送请求。我觉得这个想法很有意思，尽管在发布会时我不确定验证具体如何运作。Apple 另行发布了一份技术说明来介绍其设计。

Siri 有了新的视觉效果，演示中它理解了一名说话者在请求中途纠正地点名称。Apple 还展示了在屏幕底部附近轻点两下以输入 Siri 请求，并可在文字和语音之间切换。在公共场所打字很有用，尽管我认为语音是长期体验的核心。

另一项公布的功能允许用户通过 AirPods 点头或摇头来回应某些 Siri 交互。我认为这个低调的功能暗示了更无处不在的助手：耳中的设备让你无需拿出手机，也不用把每个回答都说出来。

令我惊讶的是，发布会没有强调更自然的 Siri 语音，尤其是其他 AI 公司最近已经展示了语音功能。我设想语音和手势会越来越重要，甚至猜测未来耳机可能配备摄像头，识别更多手势。这是我的想法，并非 Apple 宣布的 AirPods 功能。

Apple 表示，Siri 将能够在应用内及跨应用执行数百种操作。一个示例是找到某人穿着特定外套的照片，对照片进行增强，再将其添加到备忘录。单个步骤看起来很基础，但通过一条请求协调它们可能很有价值。

Apple 将这些操作归功于 App Intents 的改进。这个框架允许开发者为 Siri、快捷指令和其他系统体验提供操作。第三方开发者可以在自己的应用中定义操作。我怀疑外部 AI 助手不会获得同等的无限制控制权，但这是我的解读，而非 Apple 公布的限制。

设想一款应用提供叫车操作，让我可以请 Siri 安排去机场的行程。这是假设性的用例，但说明语音如何逐渐减少操作屏幕的需要。触摸和静默交互仍然重要；我预计会逐步转变，而非立即取代。

我还设想一种更主动的助手：它知道我的航班，并询问是否要叫车，而点头或摇头就能回答。Apple 在这里的例子通常从用户发起请求开始，因此这种主动行为是我的预测，并非该环节展示的功能。

Apple 描述了一种覆盖照片、日历事件、文件、消息和邮件的语义索引。演示中，Siri 可以在用户不记得推荐信息存在哪个应用时找到它，也可以从照片中提取驾照号码填入表单。我希望 Android 也能提供类似的应用操作，并让用户选择 AI 服务商。

在 Apple 的机场例子中，Siri 将邮件中母亲的航班信息与实时航班状态对照，找到短信中的午餐计划，再估算前往餐厅的时间。预期好处是不必手动在 Mail、Messages 和 Maps 之间切换，就能完成多步骤任务。这是对拟议功能的预先编排演示。

写作工具展示了不同的改写、语气、校对建议和解释。Grammarly 等产品已有类似功能，但原生集成可以让它们更易使用。我对 Smart Reply 更感兴趣：它识别邀请中的问题，提供可选答案，并据此准备回复。

Mail 还展示了收件箱摘要，并突出显示被认为紧急的邮件，例如登机牌或晚餐邀请。我不认为摘要或优先级排序是前所未有的；关键在于这些功能能否在用户已使用的应用中可靠运行。

Apple 的 Genmoji 允许用户根据描述在设备端创建类似表情符号的图像。我预计它会像早先的生成式贴纸功能一样吸引滥用。Apple 需要决定其安全措施如何处理可能令人反感的请求；我的预测并不是对实际安全措施的测试。

Image Playground 是 Apple 的图像生成界面。它提供主题、服装和地点等概念，也支持描述以及动画、素描和插画等风格。Apple 表示生成过程在设备端进行。界面鼓励用户选择和组合选项，而不是要求他们反复完善长提示词。

发布会中的这些例子没有展示照片级真实输出。Apple 还介绍了一款独立的 Image Playground 应用和供开发者使用的 API。Notes 中的 Image Wand 可以利用圈出的草图及周围文字生成图像，也可以在用户圈出空白区域时，根据附近上下文建议图像。

接着，Apple 介绍了用于广泛知识或专业知识请求的 ChatGPT 集成。在 Siri 演示中，系统建议使用 ChatGPT 提供餐食点子，分享问题前征求许可，并在同一界面返回答案。Apple 表示首先采用 OpenAI 的 GPT-4o，并计划以后支持其他模型。

我很惊讶 Apple 没有突出 OpenAI 最近展示的那种自然语音交互。我猜测 Apple 想让 Siri 保持自己的声音，但这是我的解读。Apple 还展示了就照片提问，分享照片前会征求许可，并介绍了在文档和演示文稿中使用 ChatGPT。

在 Writing Tools 中，ChatGPT 的 Compose 功能展示了生成睡前故事及配图。Apple 表示用户无需账户即可免费使用 ChatGPT，订阅者则可以连接账户使用付费功能。公司表示分享信息前会征求用户同意；具体账户的隐私条款和服务可用性可能不同。

我想知道这一安排的经济模式，以及分发渠道是否最终会让模型服务商向 Apple 付费。这是预测，并非公开的协议。我对 OpenAI 合作感到失望，因为我希望看到更强的竞争，不过在我看来，将 ChatGPT 与 Apple 更深层的个人上下文和应用操作分开，是一种战略上合理的集成。

Apple 表示计划加入其他模型，这一点很重要：它让外部模型层保留了其他选择。总体而言，我认为设备端方案的许多方面很有吸引力，尽管一些图像功能显得噱头十足。最有前景的是 Siri 有可能真正代表用户跨应用执行操作。