Apple 的端侧模型与私有云模型如何运作

Apple 发布了有关 Apple Intelligence 的详细资料，我想先澄清一个误解：它并非只是把所有东西发送给 OpenAI。Apple 介绍了自己的模型，其中包括一款约有 30 亿参数的端侧模型，以及一款用于 Private Cloud Compute 的较大服务器模型。

Apple 描述的是一套集成在操作系统中的个人智能系统。我认为，它的差异化优势在于能够使用用户设备上的个人上下文，并协助完成日常任务。我将这类用途与回答关于世界的一般问题作了对比，但 Apple 的基础模型并不局限于某一项狭义任务。

我对 Siri 将来能跨应用执行有用操作的可能性感到乐观。我每天或许只会向通用模型提几个问题，但一个真正能协助处理日常工作的助手，可能会有用得多。这只是我的期待，并不能证明展示过的所有操作都已可用。

Apple 表示，它已针对写作、通知摘要、图像和应用内操作调优模型。在我看来，通知摘要早就该出现了；跨应用操作则是我认为最重要的部分。我也预计 Apple 会在生成图像和安全方面采取保守做法，因为它很重视自己的品牌。

端侧语言模型约有 30 亿参数。Apple 还介绍了一款更大的服务器模型，它在 Private Cloud Compute 中的 Apple silicon 上运行。这个模型家族还包括编码模型和图像扩散模型，Apple 表示稍后会分享更多细节。

Apple 列出了负责任的 AI 原则：围绕具体用户需求构建工具、真实呈现用户、谨慎设计以减少滥用，以及保护隐私。我倾向于能够针对特定任务选择高效专用模型的架构，但这只是我的偏好，并不能证明它普遍优于更大的模型。

Apple 表示，它努力避免刻板印象和偏见，评估潜在滥用，并通过端侧处理和 Private Cloud Compute 保护隐私。公司称，用户的私人个人数据和交互记录不会用于训练其基础模型。这些是 Apple 所声明的设计和训练政策。

开发流程包括数据准备、预训练、后训练和优化。Apple 使用基于 JAX 和 XLA 构建的开源框架 AXLearn，并介绍了利用多种并行方式在 TPU、云端 GPU 或本地 GPU 上进行训练。

Apple 表示，预训练使用授权材料和 Applebot 收集的公开数据；出版方可以选择退出后者的使用。公司称，它会过滤个人标识信息和低质量材料、对数据去重，并使用分类器识别高质量文档。我猜测出版方可能比起某些竞争对手更信任 Apple，这只是我的看法。

在后训练阶段，Apple 介绍了人工标注数据和合成数据的使用，以及过滤和整理过程。它提到了使用教师委员会的拒绝采样微调，以及一种基于人类反馈的强化学习方法。我并不声称自己理解这些算法的所有细节。

Apple 强调设备和私有云上的推理速度与效率。让更多工作在本地运行可能减少服务器需求，也可能减少将某些数据发送到设备外的必要性，不过实际成本和隐私特性取决于整个系统。

两款模型都使用分组查询注意力和共享的输入／输出嵌入表，以降低内存和推理成本。Apple 报告端侧模型的词表有 49,000 个 token，服务器模型则有 100,000 个。至于它是否使用 Nomic 的嵌入，我提出的只是猜测；引用的说明并不能证实这一点。

端侧模型使用低比特调色板化和基于 LoRA 的技术，混合采用 2 位和 4 位配置，平均每个权重占 3.5 位。Apple 表示在其评估中维持了质量，但这不能证明它在所有可能的任务上表现都完全相同。

Apple 还使用 Talaria 延迟与功耗分析工具、激活值和嵌入量化，以及高效的键值缓存更新。它报告，在 iPhone 15 Pro 上、采用 token speculation 之前，首 token 处理中的提示词处理时间约为每个 token 0.6 毫秒，生成速度为每秒 30 个 token。我在视频中说成了 6 毫秒，但展示的来源写的是 0.6 毫秒；这个每输入 token 的数字不是生成首个 token 所需的总时间。

在模型适配方面，Apple 在预训练模型的各层使用小型适配器模块。训练适配器时，基础模型参数保持不变，而模型行为针对任务进行专门调整。我把这个想法与混合专家模型作类比，但仅凭适配器不能证明它采用了混合专家架构。

Apple 强调对面向用户的任务进行人工评估。其邮件摘要图表显示，在抽样评估中，带适配器的端侧模型有 87.5% 的结果被评为好，而 Phi-3-mini 为 73.3%。通知摘要的比较则更接近；这些数字仅适用于 Apple 选定的案例和评分流程。

为了评估更广泛的能力，Apple 在写作、信息提取、编码和推理等提示词上比较模型。其人工偏好图表报告了与选定替代模型比较时的胜、平、负：在抽样提示词中，端侧模型有 62% 的情况下比 Gemma 2B 更受偏好；在与 GPT-4 Turbo 的比较中，其服务器模型的负场多于胜场。

Apple 还报告了有害性、安全提示词、指令遵循和写作方面的结果。我把某些防护措施称为审查，但有害性得分衡量的是特定评估，本身不能全面反映模型的实用性或拒答行为。结果可能随提示词和评分方式变化。

我很期待试用这项技术，不过录制视频时，我安装的 iOS 18 版本还无法使用它。我更喜欢的发展方向是：一个针对日常任务适配的小型本地模型，连接能够代我执行操作的工具。