在手机和其他设备上运行 AI 的前景与权衡

AI 经常让人想到庞大的云数据中心、GPU 和能源消耗。我认为，更多计算将转移到靠近用户的设备上，例如手机、笔记本电脑和汽车。本地处理可以减少对网络的依赖，让部分数据留在设备上，但隐私、延迟、能源消耗和成本取决于实际实现方式和工作负载。

Qualcomm 邀请我参加其 AI 活动，并与我合作制作了这段视频。该公司对未来更多使用边缘计算的看法与我相似，活动结束后，我对在个人设备上运行模型感到兴奋。公司还送给我一台 Galaxy S24 Ultra 供我试用，这是理解我所讨论演示的重要背景。

本地 AI 可以让人们更好地控制自己的工具，减少将每个请求都发送到服务器的需要。Qualcomm 和其他芯片制造商正在开发针对 AI 工作负载的硬件。我预计小模型会不断进步，但我估计它们可以处理 90%–95% 的使用场景，这只是预测，并非实测的普遍覆盖率。

应用不必将每个提示词都发给云端模型，可以在本地处理适合的请求，把要求更高的请求路由到更大的模型。这是否能改善速度、能源消耗或价格，取决于设备、模型、网络和请求数量；云端请求并非在任何情况下都天然更慢或更浪费。

Mixture-of-Agents 研究将多个模型的输出结合起来生成回答。我把它描述为较小智能体协作的一种方式，但报告的结果取决于所用的具体模型、评测方法和额外计算量。这些结果不能证明任意一组小模型都能匹敌前沿系统，也不能证明它们能在手机上运行。

RouteLLM 探索在较强和较弱的模型之间路由查询，以平衡质量和成本。我将其结果描述为把 90% 的使用场景交给小模型并节省 80% 的成本，但研究人员报告的节省比例因基准而异：在其 2024 年报告设定的质量目标下，MT Bench 超过 85%，MMLU 为 45%，GSM8K 为 35%。实验使用的较弱模型是 Mixtral 8x7B，这既不能证明它部署在手机上，也不能说明所有任务的普遍比例。

我预计，更好的压缩、量化和模型研究将使能力更强的本地系统成为可能。这是一种预测，并不能保证大多数实际工作负载都能适配任何特定设备。

在 Qualcomm 活动上，我看到了 LM Studio 在 Qualcomm 硬件上的演示；这是我喜欢用来在本地运行模型的工具。活动还展示了带 AI 助手的车载界面，以及设想用于个人、救援和配送场景的智能无人机。我介绍的是这些演示，而不是对量产可靠性的独立评估。

活动还展示了使用 Snapdragon X Elite 芯片的 Copilot+ 电脑，以及旨在优化模型并将其部署到应用中的 Qualcomm AI Hub 工具。设备种类的多样性正说明：边缘处理不仅可以发生在手机上，也可以发生在电脑或汽车中。

Qualcomm 送我的 Galaxy S24 Ultra 使用 Snapdragon 8 Gen 3。部分 Galaxy AI 功能依赖云服务，其他功能则可以在设备上处理信息。我重点介绍了通话实时翻译，以及用于写作和翻译的 Chat Assist，不过处理模式和可用性取决于具体功能与配置。

我还提到了手机上的 AI 辅助摄影。屏幕中的 Generative Edit 示例旁有提示，说明它需要网络连接和 Samsung 账户；因此，不能将它视为所有照片功能都在本地运行的证据。这一段附近的字幕不完整，所以画面提示有助于澄清演示的功能。

展望未来，我设想个人智能体在手机上安排预约、回复邮件、规划活动和支付账单。这些是我期望的未来场景，并非这里已经演示的任务。访问个人信息和执行操作的能力还取决于权限、软件和保障措施。