Microsoft Build 2024：Copilot+ PC、Phi-3 与 AI 演示

Microsoft Build 2024 已经开幕，我会观看第一天冗长主题演讲中的部分精彩内容。Satya Nadella 和 Sam Altman 讨论 AI 平台、本地模型及开发者工具。这是对 2024 年 5 月发布内容及我当时反应的记录。

我赞赏 Nadella 的领导，并认为 Microsoft 正在云端 AI、模型合作伙伴、硬件和数据中心等方面广泛投资。我相信这项战略会取得回报，这是我的观点，而非已确定的结果。

在主题演讲中，Nadella 介绍了模型架构、数据和算力方面的进步，并设想一种支持文本、语音、图像和视频的多模态界面。他还讨论记忆与推理如何帮助处理复杂任务。

Nadella 介绍 Microsoft Copilot 和 Copilot 技术栈，然后将 Copilot+ PC 描述为新的产品类别。我关注的是本地 AI 加速，以及 Microsoft 对模型、软件和芯片的同时投入。

Microsoft 展示了 Windows Copilot Runtime 和供应用开发者使用的本地 API 库。Nadella 将它对 AI 体验的重要性比作 Win32 对图形应用的作用；这个比较表达的是 Microsoft 的愿景，并非已经测量出的结果。

我欢迎 Microsoft 在托管模型之外，也重视小模型和端侧 AI。Nadella 说开发者可以通过 API 调用模型，并特别介绍了 Phi Silica，它设计用于在 Copilot+ PC 的神经处理单元上本地运行。

Microsoft 还介绍了将检索增强生成和基于设备数据的语义搜索整合到应用中的方式。我把计划中的 Recall 体验解释为查找过去电脑活动的方法，并提出对隐私和删除控制的担忧。

我提到 Microsoft 与 NVIDIA 的合作，包括用于训练和微调的硬件与软件。我认为 Microsoft 正在 AI 技术栈的各个环节布局；我的正面评价是评论，不是投资建议。

Nadella 将 OpenAI 称为 Microsoft 最重要的战略合作伙伴。我推测，当 Microsoft 同时与其他模型提供商合作时，OpenAI 可能如何看待这一关系。视频没有证实两家公司私下的想法，也没有核实我提到的持股比例。

一段预先准备的 Copilot 演示中，一名 Minecraft 玩家询问如何制作剑。助手描述它看到的内容，请玩家打开物品栏并建议收集材料；遇到僵尸后，它还建议玩家寻找避难处。

演示在我看来响应很快，但我明确说明自己假设片段是正常速度且没有剪辑。我还猜测玩家进入洞穴后语音是否增加了回声；视频没有证实这两种说法。

另一段演示展示购物助手评估适合寒冷环境下过夜徒步的鞋子。演示者打断语音回答并要求推荐，助手则表示会把靴子加入购物车。

我将购物演示理解为助手通过电脑界面采取行动的例子，并设想它在日常工作中的更广泛用途。预先准备的演示不能证明它在所有网站上都可靠，也不能证明所有用户已经拥有这些功能。

演示者随后切换成西班牙语，助手也随之切换。我认为这种语言切换很有意思，不过这只是一个精选演示，并非对多语言表现的全面测试。

主题演讲展示了来自 Mistral、Databricks、Cohere、Meta 和 Microsoft 等提供商的一系列模型。我认为这表明 Microsoft 正在支持多种路径，而不是依赖单一模型提供商。

Microsoft 强调与 Hugging Face 的扩展合作，包括更多模型以及与 Azure AI 工具的整合。这里描述的产品及可用性反映的是 2024 年活动时的情况。

我查看 Microsoft 展示的 Phi-3 质量与规模比较图，认为较小模型很有前景。图中的比较是 Microsoft 自己展示的基准，并非独立或普遍适用的模型质量排名。

Nadella 介绍 Phi-3 Vision：这是一个拥有 42 亿参数的多模态模型，用于图像推理和回答问题；他同时介绍了 70 亿参数的 Phi-3 Small 和 140 亿参数的 Phi-3 Medium。

Microsoft 描述了覆盖网页、移动设备、Windows 和边缘环境的应用：在有条件时使用本地硬件，在需要时使用云端资源。这些是 Build 上展示的产品能力和计划，并不保证适用于每一台设备。

我转向开发者工具，提到 Microsoft 与 Devin 宣布的合作，以及 GitHub Copilot Workspace。我认为这体现了 Microsoft 同时支持多种路径，即使这些产品看起来存在竞争。

Nadella 称 GitHub Copilot 有 180 万订阅者，覆盖 5 万家组织。我说编程助手改变了我自己的工作方式：我从头写的代码更少，并使用这些工具加快开发。

主题演讲还介绍了 Teams、Loop 和 Planner 等工具中的 Copilot，设想用途包括会议议程、笔记、行动事项和项目协调。我开玩笑谈到这对项目经理的影响；这些例子并不能证明相关任务已完全自动化。

一位 Microsoft 高管邀请 Sam Altman 上台。对话开始时，Altman 说开发者迅速采用并改造 OpenAI 的模型，创造出公司自己没有预料到的用途。

Altman 认为，API 让许多开发者可以把模型能力整合到产品和服务中。他将平台的目的描述为让这种整合不限于某一家公司自己的应用。

被问及未来几个月会发生什么时，Altman 预测模型整体能力会增强，速度、成本和模态的改进也很重要。他讨论的是未来模型的一般方向；片段没有宣布或演示 GPT-5。

Altman 提到 GPT-4o 当时相对前代模型的价格和速度，并说语音模式的实用性令他惊喜。这些是 2024 年的产品比较和个人观点，并非当前产品或价格指南。

对话转向安全部署。Altman 说，OpenAI 和 Microsoft 在安全系统、政策、监测及研究方面投入了大量工作，以使模型可供使用，同时承认 GPT-4 仍不完美。

他预计更强大的系统会带来更多安全问题，也需要进一步研究。Altman 将安全工作视为部署条件；这段访谈并不能证明任何模型在所有用途下都安全。

最后，我说 Windows 对我而言变得更有吸引力，并预测 Apple 也会为其操作系统发布重要的 AI 功能。这是我在 2024 年 5 月的预测，并非对后来发生之事的陈述。