初看 Google 2024 年 Vertex AI Agent Builder：智能体、Workspace 与 Code Assist

Google 在 Cloud Next 2024 上推出了智能体平台，我想观看相关主旨演讲片段，并向大家展示我在 Vertex AI Agent Builder 中发现的内容。这是对 2024 年 4 月预览版的初步体验，并非对 Google 此后可能添加的所有功能的描述。

Google 表示，其 Vertex AI Model Garden 提供 130 多个第一方、合作伙伴及开放模型。我浏览了 Gemini、Imagen、Gemma、Chirp 和第三方模型，并展示按模态和任务筛选的功能。模型页面提供使用场景、文档和进入 Vertex AI Studio 的入口，这让我想起 Hugging Face 这样的模型目录。

主旨演讲宣布 Gemini 1.5 Pro 进入公开预览。其最高 100 万 token 的上下文窗口引人注目：Google 称它可处理一小时视频、11 小时音频、数十万字或数万行代码。这些只是近似示例，并不保证所有材料都能得到准确理解（[Google 公告](https://blog.google/innovation-and-ai/infrastructure-and-cloud/google-cloud/google-cloud-next-2024-generative-ai-gemini/)）。

我提到了关于更大实验性上下文的报道，并期待其应用场景。Google 的研究此前已评估过最多 1000 万 token 的检索，但这一研究结果并不代表 1000 万 token 的产品已普遍开放（[Gemini 1.5 论文](https://arxiv.org/abs/2403.05530)）。许多真实代码库仍超出大型上下文窗口的容量，因此检索和代码库映射仍有用。

Google 介绍了在视频中搜索一句话，以及从包含文字、表格和图表的长文档中提取信息。我很期待能对长 PDF 和播客提问，但单凭演示无法证实它在所有材料上的提取准确率。

Google 还宣布推出面向编程的轻量模型 CodeGemma。我此前使用 Gemma 时印象并不深刻，但我欣赏开放模型的发布，也想试试这个编程版本。Google 将 Vertex 描述为用于微调、增强、管理和监控模型的平台。

听到“智能体”时，我想到的是 AutoGen 和 CrewAI 之类的工具：赋予智能体工具和角色，让它们协作完成任务。Google 的示例最初看起来更像客服助手或自定义 GPT。这是我对预览版和主旨演讲示例的印象，不是对全部功能的全面比较。

Google 介绍了可通过网页、移动端、销售终端和呼叫中心响应的客户智能体，包括语音和视频体验。Mercedes-Benz 首席执行官 Ola Källenius 介绍了与 Google 在销售助手、客户服务、营销和导航方面的合作，以及用于开发有条件自动驾驶的云基础设施。

Källenius 表示，该公司的 Level 3 驾驶系统已在德国、加利福尼亚州和内华达州获得认证，并介绍了用 Google Cloud 作为下一代开发和测试平台基础设施的计划。这是关于特定监管批准和开发工作的说法，并不能证明自动驾驶在任何地方或脱离系统运行条件都能工作。

我想知道为什么演讲没有重点介绍汽车信息娱乐系统中的对话智能体：开车时，与助手交谈可能比打字有用得多。这是我提出的应用场景，并不能证明 Mercedes 没有语音助手或没有相关计划。

Google 展示了酒店、家庭安防、电信、零售、公共服务和金融服务领域的例子。这些大多是面向客户的支持与销售应用，我理解它们有商业价值，但相比能执行更广泛任务的自主智能体，我觉得它们没那么令人兴奋。

我以前的公司使用过 Google 较早的对话产品 Dialogflow，我觉得它容易出问题且难以设置。我能理解生成式模型为何可能改善这些体验，但仍希望新公告更有雄心。Google 还介绍了翻译、故障排查和知识搜索的示例。

Google 将 Vertex AI Agent Builder 介绍为创建客户智能体的方式：用 Gemini 处理对话和多模态输入，编写自然语言指令，并决定何时转交人工。Google 还介绍了用内部数据和搜索为回答提供依据，以及预订或更新联系信息等任务的扩展。这些是宣布的能力，不能证明每项集成都能自动配置。

开发者布道师 Amanda Lewis 演示购物助手：她提供一段音乐视频，请助手寻找与键盘手所穿类似的格子衬衫，并提供价格和供货情况。演示使用 Gemini 理解视频，再从零售商库存中检索商品。我喜欢多模态输入，但购物应用本身并非我希望智能体构建重点关注的方向。

我在 Agent Builder 中打开自己创建的天气智能体。界面让我给智能体命名、设定目标并编写指令，例如询问用户的位置；输入美元符号就能方便地插入对智能体或工具的引用。我喜欢这部分界面的直接程度。

我的天气工具被配置成具有输入和输出模式的函数。我找不到的是，应该在哪里放置实际调用第三方天气 API 的代码。当我询问洛杉矶天气时，工具输入格式正确，但示例输出为零，助手说无法提供天气。这个失败的测试体现了我的困惑，并不意味着函数调用永远不能执行外部代码。

我注意到 Dialogflow Messenger、Twilio 和 Discord 等集成，也欣赏其认证和 TLS 选项。工具配置似乎使用结构化模式，而不是我想要的简单内联方法。当时我觉得这一工作流没有我期待的自定义函数界面那么直观。

演讲接着转向员工智能体：Google 介绍如何将模型连接到公司和网络数据、翻译内容，并让答案基于 AlloyDB、BigQuery 和企业应用等服务。视频中提到的收购 HubSpot 只是传闻，不是一项已宣布的交易。

开发者布道师 Gabe Weiss 演示了一个集成在 Google Chat 中的福利助手。他要求助手总结一封开放投保邮件和一个较长的附件视频，系统检索相关邮件和附件作为提示上下文。我喜欢这个想法，因为我希望有助手能读取我的邮件上下文并起草回复供我审核。

演示接着对照 Google Drive 中的一份 PDF 比较医疗保障方案，链接到支持性资料，并生成双语总结。演示者称 Gemini 的长上下文、检索和扩展是底层组成部分。这是一场事先安排的福利演示，因此仍应对照实际方案文件核对来源链接和生成的建议。

Drive 集成给我留下深刻印象，但我没有在自己试用的 Agent Builder 界面中看到复现完整体验的明显方法。我怀疑 Google 在后台连接了一些功能；仅凭演示，我无法确定外部开发者当时能构建其中哪些部分。我希望更多功能向构建者开放。

主旨演讲介绍 Google Vids，这是一款面向工作场景、借助 AI 辅助写作、制作和编辑的视频应用。在演示中，演示者提供提示和现有文档，编辑大纲并选择风格；Vids 组装包含场景、素材库媒体、音乐和脚本的初稿。我喜欢这种集成，同时注意到展示的流程是在组装媒体，并不能证明它从头生成了所有视频画面。

接下来是使用 Gemini 1.5 Pro 的 Gemini Code Assist。在示例中，一位新开发者需要利用设计稿和跨多个服务的代码仓库，将产品推荐移到商店首页。Google 表示，长上下文有助于助手理解代码并建议协同修改。

演示者提供业务需求和设计参考；助手找出推荐函数及需要修改的文件。我欣赏可以添加 Drive 链接和图片作为上下文。演示展示了建议修改、应用选项，以及对 Go 处理程序和 HTML 文件的编辑。

Google 将演示与通读整个代码仓库所需的时间进行比较。我认为这属于营销表述：开发者做修改前未必需要阅读每一行代码。演示者在本地测试修改后的应用并展示推荐区域；这只是一次受控演示，建议的代码仍需要人工审核和测试。

商店首页的例子相对简单，但我很想尝试 AI 辅助编程。我的整体感受喜忧参半：Agent Builder 对客户智能体的侧重和工具设置没有达到我想要的更复杂智能体框架的水平，而 Google 的 Workspace 集成和编程演示则值得欢迎。