Cynthia Bailey:明确 AI 智能体能做什么、何时必须停止

原标题Cynthia Bailey: Define What an AI Agent Can Do and When It Must Stop

连接器让模型通过其他应用采取行动;明确权限、人工检查和停止条件决定了行动的安全程度。

CBCynthia Bailey讲者 · Stanford University
频道
Stanford Online
发布
2026年11月17日
视频
58:52
阅读
9 分钟
幻灯片
6
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Stanford 讲师 Cynthia Bailey 说,连接器让 AI 助手读取其他应用的数据或在其中采取行动,但底层模型仍在生成文本。工具管理组件解释结构化请求、返回结果,再由模型决定下一步。她建议明确智能体的目标、上下文、工具、权限、记忆、行动和停止条件。安全案例说明为什么应限制访问:收件箱助手可能遇到恶意指令,拥有广泛删除权限的清理助手也可能删掉无法替代的文件。

  1. 1连接器让助手访问其他应用它可以把信息带入上下文,也可以执行读取消息或发送回复等操作。用户决定是否保留最后的发送步骤。
  2. 2智能体的工具调用仍然是生成的文本Bailey 解释说,模型可以输出结构化请求,由周围软件识别并分发;工具结果再回到上下文,供模型生成下一次响应。
  3. 3智能体需要明确的权限和停止条件在团队聚餐案例中,Bailey 列出目标、上下文、工具、权限、记忆和行动,并在确认成功或多次失败需要帮助时停止。
  4. 4继续之前观察行动是否奏效分析—行动—观察循环既检查工具调用是否成功,也检查是否达到预期效果。自主循环越长,停止规则和人工监督越重要。
  5. 5全新的“金鱼”不看规划对话,只靠文档测试计划独立智能体只能看到工作范围文档和明确引用的资料。它提出的问题会暴露缺失的上下文;规划者修改文档后,再由新的审查者重复测试。
  6. 6广泛的删除权限可能让清理变成数据丢失按六个月未使用来筛选,可能误选已安装的软件或无法替代的照片。Bailey 建议让人审查候选文件,并限制智能体的访问范围。
  7. 7消息和网页可能将指令夹带进工作流招聘消息或搜索结果中的文本可能被模型误认为用户指令。Bailey 建议考虑最小权限,以及应在哪些环节由人审查行动。

要点建议

  1. 明确智能体的目标、可用上下文、工具、权限、记忆、行动和停止条件。
  2. 在错误行动难以撤销的环节设置人工批准。
  3. 只给连接器完成具体任务所需的访问权限。
  4. 用看不到原始规划对话的全新智能体测试详细工作范围。
  5. 将消息和网页视为可能包含提示注入的不可信数据。
全文

按章节阅读整理后的全文

只看原始文稿
01

连接器在应用之间传递信息和行动

连接器让模型访问外部数据,并可能采取行动。邮件案例说明用户可以选择哪些步骤由人控制。

Stanford 批准使用的连接器为学生提供多种方式,把 AI 工具与邮件、日历和文件等应用连接起来。并非每个连接器都获准用于所有模型,不同服务提供的访问权限也有区别。

连接器是 AI 工具与另一个应用或账户之间经授权的连接。它可以把数据带入模型上下文,也可以让周围系统代表用户采取行动,例如读取消息、起草回复或发送邮件。

以修改一封向同事提出批评的邮件为例。没有连接器时,我需要将收到的邮件和草稿复制到聊天工具,要求它把语气改得更温和,再审阅并复制回邮件客户端,最后自行发送。

有了连接器,我可以让助手直接找到邮件和草稿,省去复制粘贴。我仍可以检查修改建议并亲自发送,也可以授权助手完成整个流程,包括发送。

Bailey 将后一种方式称为智能体式 AI,因为它不仅生成内容,也采取行动,但她提醒不要把它当成完全不同的模型。两种工作流都使用同样的底层语言模型生成过程。

02

生成的文本如何变成工具调用

模型生成结构化请求,而不是直接修改另一个应用。周围组件分发请求,并将结果带回上下文。

模型仍然一次预测一个 token。有些生成文本是结构化工具请求,而不是给人看的文字。另一个组件识别该请求,并通过连接器执行相应操作。

结构化天气工具请求
幻灯片 1 / 6结构化天气工具请求幻灯片将生成的 JSON 与不变的模型预测过程并列展示。

天气案例用 JSON 对象标明工具、查询天气操作和位置。连接器解释结构化请求;增加连接器不会重新训练或改变神经网络本身。

启用连接器后,可用操作的指令和定义会与系统指令、设置及相关记忆等内容一起进入上下文窗口。这些定义告诉模型如何格式化请求,以及可以提供哪些参数。

上下文中的连接器指令
幻灯片 2 / 6上下文中的连接器指令工具描述和格式指令与其他信息一起进入模型上下文。

如果用户问今天该穿什么,模型可能判断当前天气有帮助,于是生成结构化天气请求。Bailey 把周围负责分发的组件称为“连接器管理器”:它识别请求并发送给相应工具。

天气结果返回模型上下文。模型下一次运行时可以利用结果推荐衣物。普通回复也会经过周围组件;如果不是工具请求,组件就直接将其转发。

Bailey 将模型上下文协议(MCP)作为工具集成场景中的相关术语,并称外部服务为 MCP 服务器。对这门课来说,重点是生成请求、工具和返回结果之间的信息流。

03

明确目标、权限和停止条件

Bailey 用团队聚餐说明智能体规格的七个组成部分。每个智能体可以拥有不同的上下文和访问权限。

一个明确规定的智能体类似详细的工作范围说明。Bailey 要求设计者写明目标、上下文、工具、权限、记忆、行动和停止条件。即便多个智能体参与同一工作流,也必须为每个智能体分别作出这些选择。

上下文可以包含过去的聊天记录,也可以只包含当前任务提供的信息。工具决定可用的连接器;权限决定工具可以做什么。记忆可以跨会话保留先前使用情况,也可以让智能体每次都从无历史记录的状态开始。

智能体规格的七个部分
幻灯片 3 / 6智能体规格的七个部分聚餐案例列出目标、上下文、工具、权限、记忆、行动和停止条件。

行动描述预期步骤,停止条件则说明智能体何时完成,或何时应返回寻求帮助。没有停止规则,工作流可能会超出用户本意,继续尝试采取行动。

安排团队聚餐的目标是让所有人都能参加。智能体需要团队名单和期望餐厅的营业时间,可能还会用到日历和消息连接器。设计者必须决定它能否直接查看同事日历,以及联系同事前是否需要批准。

定期安排聚餐的智能体可以记住之前的时间偏好。它可以先检查空闲时间,起草并发送消息,再收集确认或拒绝。如果时间不合适,就重复流程;所有人确认后停止,或者三次尝试失败后向人求助。

04

分析、行动、观察并让人参与

智能体检查每次行动的结果,再决定下一步。设计者必须选择何时让人查看或批准进度。

核心工作流是分析—行动—观察循环。模型检查上下文,选择行动,再观察结果。在天气案例中,它分析穿衣问题、查询天气,并把返回的天气报告用于下一次分析。

分析—行动—观察循环
幻灯片 4 / 6分析—行动—观察循环天气案例展示结果如何进入下一次决策。

观察首先要确认工具调用是否真的成功。如果生成文本指定了不存在的操作,连接器可能返回错误。智能体还必须检查更高一层的问题:行动是否产生预期效果,计划是否仍在正轨上?

简单的天气请求只需要短循环;更自主的任务可能重复许多轮,因此停止条件尤其重要。Bailey 还要求设计者决定在哪些环节通知人,以及人可以在哪里批准或阻止继续执行。

在没有连接器的邮件案例中,人负责每个外部行动。有连接器时,人可以允许助手检索信息,但保留审查和发送步骤。完全自主的版本去掉了这一检查,改变用户在循环中行使控制的程度。

05

大象和金鱼如何测试工作范围

一段较长的规划对话生成详细文档。没有参与该对话的全新审查者检查文档是否足以独立使用。

Bailey 介绍了 Google 工程师 Dave Resnick 描述的“大象与金鱼”方法。它适用于依赖大量上下文的工作,例如修改大型代码库,也可能适用于大量业务、客户或供应链信息。

大象是一段有长期记忆的规划对话。它先就任务和偏好采访用户,再询问验收标准以及如何评判结果。Bailey 描述的两次会话各约 15 至 20 分钟,最后形成四至六页的工作范围说明。

这份文档旨在为后续实施任务的智能体团队提供足够细节,使它们无需进一步提问就能工作。文档可以精确引用上下文,例如定义现有结构特征的特定代码文件。

金鱼是另一个全新的智能体。它只能看到工作范围文档,并可阅读文档明确引用的内容,却看不到漫长的规划对话或无关项目上下文。这种有意限制用于测试:文档本身是否包含新实施者所需的信息。

大象写好文档后,金鱼判断是否还有不清楚的地方。如果发现重要缺口,就修改文档,再交给一个不记得前几轮内容的新金鱼。直到全新的审查者不再提出重要问题,循环才停止。

这个循环可以自动运行,但 Bailey 说,人可以每隔几轮介入,判断剩余问题是否实质重要。即使检查过程自动化,她仍建议实施智能体开始工作前,由人审阅完成的工作范围说明。

一名学生问,人们是否应该放心让连接器访问邮件和整个硬盘。Bailey 接着介绍三个场景,追问智能体权限超出任务所需时可能出现什么问题。

06

预判失败并收窄权限

维修报告、招聘助手和磁盘清理案例展示了隐私、注入和不可逆行动的风险。最小权限和人工审查能减少风险暴露。

维修报告智能体
幻灯片 5 / 6维修报告智能体该场景列出目标和权限,包括访问全部手机照片及发送邮件的能力。

第一个智能体负责报告宿舍窗户漏水。它可以查看手机中的所有照片并发送 Outlook 邮件;它应找到相关照片、描述损坏、发送报告并等待回复。维修安排或完成后停止;如果 24 小时没有回复,则向人求助。

求职智能体监控招聘消息、在网上搜索公司信息,并根据用户的职业兴趣发送回复。它有读取、撰写和发送消息的权限,用户可能让它运行一个月后再评估是否继续。

磁盘清理智能体被要求删除至少六个月未使用的文件以释放空间。在这个场景中,它可以读取并永久删除文件、检查磁盘使用率,并重复操作直到达到目标。选择永久删除,是因为仅移入回收站还不能释放空间。

磁盘清理智能体
幻灯片 6 / 6磁盘清理智能体该场景将按时间删除文件的规则与广泛的永久删除权限结合。

学生指出,广泛的删除权限可能导致删除范围远超预期。Bailey 说,已安装的旧软件也许六个月没有编辑过,但仍然必不可少。长期未使用并不意味着文件可以丢弃。

维修智能体也可能依据错误信息行动,或发送看起来出自用户的不恰当消息。反复发送错误请求会浪费工作人员的时间。反复行动的能力会放大最初错误造成的后果。

针对清理场景,一名学生建议让智能体先列出候选文件,再由人检查。Bailey 表示赞同:例如,与已故亲人的最后一张合照可能很少打开,却无法在永久删除后找回。

让维修智能体访问整个相册,可能暴露与漏水无关的护照照片或其他敏感图片。最小权限原则是只提供完成任务所需的访问范围,例如选定的近期照片,而不是拍过的所有照片。

Bailey 说,智能体也许不太可能附上无关的敏感照片,但非零概率加上不必要的访问权限,仍会造成可避免的风险。即使目标任务很普通,过度授权也可能导致尴尬、经济损失或其他伤害。

招聘场景还会面临提示注入。收到的消息和网页搜索结果属于外部材料,其中的文字可能被误认为用户指令。如果同一工作流有权发送消息或采取其他行动,风险就会增加。

Bailey 描述了一个较轻松的例子:有人为了识别 LinkedIn 自动消息,会要求对方提供意大利蔬菜汤食谱。人可能会质疑这个奇怪的请求,而机器人可能照做并继续招聘对话。

她鼓励设计智能体时保持好奇心,问一句“最坏会发生什么?”这一练习旨在识别可能的失败路径,并在赋予系统行动权限之前加入缓解措施,例如收窄权限、明确限制和人工审查。

同频道的其他文章

1:09:27EN → 简体中文
Stanford Online· 2026年11月17日Cynthia Bailey:AI 上线后仍要持续测试Cynthia Bailey · Stanford University旧测试数据可能遗漏用户行为的变化。Bailey 介绍如何用独立审查、上线后检查和更好的数据发现 AI 风险。编程智能体AI Safety安全与治理+1
11 张幻灯片1:18:55EN → 简体中文
Stanford Online· 2026年11月16日Michael Ryan:AI 智能体越多,任务可能越难Michael Ryan · Stanford University并行智能体能探索更多方案,但协调成本和相互冲突的工作可能让单个智能体更有效。Multi-agent systemsAgent orchestrationAgent memory+2
8 张幻灯片1:18:54EN → 简体中文
Stanford Online· 2026年11月15日AI 智能体记忆:该保存、检索和遗忘什么Michael Ryan · Stanford UniversityMichael Ryan 比较智能体记忆架构,并解释为什么记住更多不一定能改善决策。Agent memoryAI agents检索增强生成+2
9 张幻灯片1:16:51EN → 简体中文
Stanford Online· 2026年11月14日Michael Ryan:从控制流与上下文选择智能体模式Michael Ryan · Stanford University斯坦福 CS329Z 课程讲解工作流、推理与行动循环,以及让智能体上下文保持聚焦的方法。智能体工程AI agents开发流程与测试+1
4 张幻灯片1:17:14EN → 简体中文
Stanford Online· 2026年11月13日DSPy、LangGraph 与 AI 智能体周围的工程Michael Ryan · Stanford UniversityMichael Ryan 通过日历演示比较智能体框架,并说明评估、恢复和追踪为何重要。Agent orchestration评估智能体工程+2
2 张幻灯片1:40:43EN → 简体中文
Stanford Online· 2026年11月13日AI 智能体如何查找信息并采取行动Afshine Amidi, Shervine Amidi · Stanford University斯坦福讲师解释实用智能体为何需要检索、描述清晰的工具,以及管理上下文和行动的运行框架。AI agents检索增强生成Search & retrieval+2