Philipp Schmid:打造 AI 同事需要的七样东西

原标题Philipp Schmid: Seven Things an AI Coworker Needs

从托管智能体、技能和凭证管理,到定时运行的投资组合审计演示。

PSPhilipp Schmid讲者 · Google DeepMind
频道
AI Engineer
发布
2026年11月6日
视频
17:27
阅读
6 分钟
幻灯片
5
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Google DeepMind 的 Philipp Schmid 介绍如何用 Gemini 和 Managed Agents 构建自主 AI 同事。他讲解模型、沙箱、工作手册、工具、凭证、规则和日程,并演示投资组合审计。

  1. 1七项需求数字同事需要大脑、电脑、工作手册、工具、凭证、规则和日程。
  2. 2智能体沙箱Managed Agents 为智能体提供远程环境,用来执行工具并处理文件。
  3. 3按需加载知识保持常驻指令简洁,把详细流程放进技能、参考资料和脚本。
  4. 4限定凭证访问范围外部代理仅为配置允许的目标替换真实凭证。
  5. 5控制与调度工作受保护的钩子可以执行检查,定时触发器可以启动重复工作。
  6. 6审计投资组合演示读取审计技能、查询金融数据并更新电子表格。

要点建议

  1. 智能体除了模型,还需要工作环境、工作手册和明确边界。
  2. 保持系统指令简洁,只在需要时加载详细技能。
  3. 将凭证与沙箱隔离,并限制代理可以使用凭证的目标。
  4. 用钩子执行确定性控制,用定时触发器处理重复工作。
  5. 结合技能与外部工具,审计投资组合并更新电子表格。
全文

按章节阅读整理后的全文

只看原始文稿
01

七项基本需求

Schmid 介绍从聊天机器人走向自主同事的变化,并概述让数字同事上岗所需的七个组成部分。

两年前,我们主要向聊天机器人提简单问题。后来助手开始使用工具,编程智能体也能替我们写代码。现在,我们可以给智能体一台自己的电脑和一项任务,几小时后再回来查看成果。我想展示如何打造一位自主的华尔街 AI 同事。

同事开展工作需要什么
幻灯片 1 / 5同事开展工作需要什么七个组成部分包括大脑、电脑、规则和日程等。

一位同事需要大脑、用来保存成果并反复修改的电脑、帮助熟悉工作流程的手册、工具、凭证、行为规则和工作日程。数字员工同样需要这七样东西。接下来我会用 Gemini 构建一个例子,逐项介绍。

02

Gemini 4 与早期应用

他介绍 Gemini 4 发布及 Google 团队的早期应用,并展示同事生成的光线追踪项目。

在此之前,我们最近发布了 Gemini 4。我重点介绍了统一的百万 token 上下文窗口,以及模型处理复杂数学问题时可使用的额外推理空间。Interactions API 提供了一个简短的入门方式:获取 API 密钥并发送请求。演讲时我给出的价格是输入 2 美元、输出 10 美元。

Google 团队此前已在内部测试该模型。我介绍了 Chromium 相关工作、提升开放模型 Gemma 的运行效率、改进 ADK 框架以及内部代码方面的应用。一位同事还通过提示让 Gemini 用 Python 构建了一个 3D 光线追踪器,并用生成的旁白解释其工作原理。这些例子鼓励我们大胆尝试更有挑战的问题。

03

为智能体提供托管电脑

托管沙箱让智能体在远程环境中使用工具和文件。Schmid 创建了名为 Buck 的自定义智能体。

在传统的工具调用循环中,模型返回函数调用,应用负责执行,再将结果交还模型。Managed Agents 提供远程沙箱,让 Gemini 能直接运行工具并处理文件。调用 Interactions API 时,可以指定智能体 ID、提供提示,并使用这个托管环境。

托管智能体如何工作
幻灯片 2 / 5托管智能体如何工作示意图展示 Gemini API、模型和沙箱之间的工具执行循环。

我们的数字同事叫 Buck。创建 Buck 时,需要指定智能体 ID、基础智能体和模型,并提供系统指令。远程智能体使用与 Antigravity 相同的运行框架。之后,我们就能通过 Interactions API 用自己的智能体 ID 发起调用。

04

文件、工作手册与技能

环境可以通过文件和仓库预先配置。简洁指令与按需加载的技能用于组织知识。

电脑还需要工作环境。Managed Agents 可以接收内联文件、包含技能的公开或私有 GitHub 仓库,也可以连接 Google Cloud Storage 存储桶。技能、钩子和系统指令都以文件形式存在;智能体也可以在环境里创建技能,保存之前会话中获得的经验。

三层知识
幻灯片 3 / 5三层知识常驻指引、触发时加载的技能和按需读取的参考资料使上下文保持聚焦。

我按知识的使用时机进行区分。系统指令会随每次请求发送,因此保持简洁对成本很重要。技能通过简短描述告诉智能体何时读取。与其把技能写成冗长密集的文档,不如把详细背景拆进可按需加载的参考资料和脚本。

例如,我们的投资组合审计技能会告诉智能体何时以及如何运行附带的 Python 脚本,如何处理结果,以及将结果保存在哪里。它为新同事提供了一套可重复的工作手册,又不必在每次任务中加载全部细节。

05

工具与 MCP

内置工具、MCP 服务器和自定义函数让智能体连接外部服务。部分函数可以在沙箱之外运行。

接下来是工具。智能体可以使用 Google Search、代码执行等内置能力,也可以调用 MCP 服务器或自定义函数。Managed Agents 可以连接 Workspace 的 MCP 工具,例如 Gmail 和 Sheets;开发者也能提供自己的服务器或函数。

自定义函数仍遵循熟悉的模式:智能体发出调用,应用返回结果。当某项能力需要在智能体沙箱之外运行时,这种方式很有用。

06

沙箱外的凭证管理

凭证保存在沙箱之外,由网络代理替换。其使用范围可以限定在配置允许的目标。

凭证尤其容易处理出错。我介绍了三种支持的方式:用于 API 的 bearer token、用于服务和 MCP 工具的 OAuth,以及供命令行工具使用的环境变量。托管环境通过外部网络代理将凭证与沙箱隔离。

在需要的位置使用凭证
幻灯片 4 / 5在需要的位置使用凭证配置将凭证限定于特定域名,并让沙箱看到占位值。

你在沙箱外创建凭证,并规定它可以在哪些位置使用,例如某个特定域名。凭证是只写的:设置后可以替换,但无法取回。智能体看到的环境变量只包含占位值;当请求发往获准的目标时,代理再把占位值替换成真实凭证。

我认为,按域名限制的凭证替换有助于防止恶意提示或 MCP 服务器直接读取真实令牌并将其发往别处。例如,让智能体打印环境文件时,看到的是占位值,而不是保存在外部的密钥。保护效果依赖于代理以及所配置的凭证使用限制。

07

钩子与定时触发

受保护的钩子对工具调用施加规则。Cron 触发器按计划运行智能体,webhook 则在开发中。

钩子为行为规则提供了另一层约束。匹配器可以识别需要监控或人工批准的工具调用和命令,再由钩子执行确定性的检查。钩子文件受到保护,智能体不能直接修改它们来绕开规则。

同事还需要日程。我介绍的触发方式是 cron 计划任务:在同一环境中用指定输入运行智能体,例如定期开展尽职调查或审计。我们也在开发 webhook,让外部服务能够触发工作流程。

08

投资组合审计演示

定时 API 请求启动投资组合审计。智能体查询金融信息并更新表格。

在演示中,我请 Gemini 帮我构建了一个基于浏览器的 Google Sheets 模拟界面,并模拟计划任务触发。一次真实的 Managed Agents API 调用让 Buck 使用投资组合审计技能。智能体读取技能、调用金融服务、检查市场和股价变化,然后更新表格。

投资组合审计演示
幻灯片 5 / 5投资组合审计演示定时触发器启动智能体,审计投资组合并更新电子表格。

同一个触发器可以设为每天早上 8:30 运行。如果拥有 Slack 访问权限,智能体还能在交易频道发布变化摘要。我还展示了一次建议请求:它利用此前对话的上下文讨论三个持仓,同时遵守系统指令,不直接采取行动。

09

整合 AI 同事

Schmid 回顾数字同事的七个要素,以及托管基础设施如何将其组合为可运行的工作流。

这位数字同事所需的基础设施都在托管环境中:Gemini 提供大脑,沙箱提供电脑,技能和工具提供工作手册与能力;凭证、钩子和触发器分别支持受控访问、行为规则和主动执行。这就是我想搭建的完整 AI 同事。

同频道的其他文章

2 张幻灯片23:05ZH
AI Engineer· 2026年11月6日Ryo Lu:当我们什么都能做,还知道自己想做什么吗?Ryo Lu从 AI 生成的日记工具到爵士乐团,Ryo Lu 讨论如何在更强大的工具旁保有判断、生活和与他人合作的空间。AI interface designHuman-AI CollaborationCreativity+2
2 张幻灯片14:58EN → 简体中文
AI Engineer· 2026年11月6日Sparsh Jain:为 AI 智能体构建经验性记忆Sparsh Jain · CentralAgent AI通过形成、更新和检索经验的生命周期,以及持续评估循环,管理不断变化的上下文。AI agents智能体工程上下文工程+2
2 张幻灯片18:13EN → 简体中文
AI Engineer· 2026年11月6日Sid Pednekar:AI 采用中稀缺的是判断力Sid Pednekar从选择高价值问题、建设共享能力,到把经验转化为组织学习的框架。AI AdoptionDecision MakingAI Strategy+1
2 张幻灯片14:04EN → 简体中文
AI Engineer· 2026年11月6日Frank Long:围绕质量构建 AI 投资工作流Frank Long · CoatueCoatue 的 Frank Long 将投资拆解为信息、分析和决策步骤,主张为每一步选择代码、模型与人的合适组合。AI agentsInvesting智能体工程+2
3 张幻灯片17:52EN → 简体中文
AI Engineer· 2026年11月5日Cameron Wolfe:如何评估答案主观的 AI 任务Cameron Wolfe · NetflixNetflix 的 Cameron Wolfe 介绍将人工审查、校准后的模型评判器和生产监控结合起来的评估闭环。评估评估与可观测性人工介入验证+2
20:45EN → 简体中文
AI Engineer· 2026年11月5日John Stecher 与 Scott Worland:构建能够随 AI 模型进步而改变的系统Scott Worland, John Stecher · Norm AIBlackstone 和 Norm AI 的技术负责人讨论数据战略、评估、生产控制,以及何时值得等待更好的模型。企业 AI评估智能体工程+1