30 秒看懂
Allie Howe 主持 Ian Livingstone、Michael Davis 和 Dick Hardt 讨论如何将上下文用于智能体授权。嘉宾讨论了粗粒度权限、具体任务、交易级检查以及可执行边界的必要性。 一起餐厅预订事件说明,智能体即使追求正当目标,也可能过度使用资源。圆桌还讨论资源预算、将凭据与智能体分离、可审计性以及对 AI 风险的不同观点。
- 1逐步扩大自主权Davis 把智能体访问比作开发者入职,初始权限应有限。
- 2任务Hardt 介绍委派目标及可用于后续授权与审计的标识符。
- 3约束的交集Livingstone 结合确定性的组织策略与具体任务背景。
- 4预订事件嘉宾用报告中的大量调用讨论资源预算。
- 5分离权限沙箱与代理边界可以让凭据和执行机制位于智能体之外。
- 6独立审计记录应关联委派人、目的与实际决策。
要点建议
- 根据上下文授权行动,而不是只依赖宽泛的长期权限。
- 结合组织策略、用户意图和交易细节。
- 为委派工作设置可执行的资源预算和时间限制。
- 将凭据、执行边界和审计记录置于智能体控制之外。
- 审查环境信号与不断变化的能力组合。
- 把嘉宾的预测视为观点,而不是已经确定的结果。
按章节阅读整理后的全文
智能体授权为何困难
嘉宾介绍粗粒度权限和逐步扩大自主权。
Keycard 的 Allie Howe 主持讨论,嘉宾包括 Keycard CEO Ian Livingstone、JPMorgan Chase 安全架构师 Michael Davis 和 AAuth 创建者 Dick Hardt,主题是智能体的意图授权。
Howe 把运行时授权描述为在智能体调用工具时检查其行动,而不是只依赖长期存在的宽泛权限。粗粒度 API、不完整的策略和变化的环境都让判断变难。
Livingstone 说,受监管组织优先考虑安全和业务连续性。企业系统中存在许多身份与旧权限,智能体需要能够请求访问,同时不能获得不应有的能力。
他指出宽泛的 OAuth scope 是一个问题:整个 API 的权限可能远超某项智能体任务的需要。现有系统往往围绕人工决策和较确定的软件设计。
Hardt 认为 OAuth 起源于不同的应用环境,常见 scope 对变化中的智能体任务可能过于粗糙。OAuth 已经演进,但实际可用的粒度仍取决于现有集成。
Davis 把赋予智能体自主权比作让开发者入职:先给予有限权限,再根据证据和条件逐步扩大。除了智能体自己的说法,环境是否处于沙箱等因素也很重要。
Davis 说,金融系统已经在运行时判断单笔交易。付款金额、收款人和时间限制行动,备注则提供用途背景。
Hardt 补充说,一笔交易单独看似乎合理,却可能与更大的任务冲突,例如首次付款几秒后又付了一次。判断需要交易细节和任务背景。
Livingstone 对比购物会话与生产故障排查会话:两者需要不同权限,也需要在不同节点让人参与。他认为了解任务有助于限制相关访问。
任务与策略
他们讨论委派目标、组织约束和上下文。
Hardt 把 AAuth 的 mission 描述为由个人或组织委派的目标。智能体和用户可以澄清参数,任务标识符则可把后续决策和行动联系起来供审计。
Howe 问,如果有人要求访问自己无权查看的 CEO 邮件会怎样。Hardt 说,既有确定性策略应拒绝未授权访问;对于需要上下文的决策,他提出独立监督组件。
Livingstone 建议用确定性规则约束绝不能发生或必须人工参与的行动,再结合具体任务背景。他也指出,让人批准过多行动会损害可用性。
他区分组织采用工具的原因与用户眼前的任务,例如修复测试环境中的错误。一次运行的权限应处于相关约束的交集之内。
Davis 补充说,上下文可以改变访问判断:经授权的助理可能根据职责和策略访问负责人的部分邮件或日历。决策不能只靠一个静态标签。
Davis 说,企业中的任务跟踪和动态授权在实践中仍处于早期。统一术语可以帮助团队跨系统讨论决策,并诊断长时间运行的工作。
商业与互操作性
讲者思考智能体身份和独立监督。
Howe 转向智能体商业:用户可能希望智能体在预算内购买正确商品,而商家需要决定信任哪些流量和行动。
Davis 将“了解你的客户”扩展为了解智能体,以及用户、运营方和处理方的意图。他认为这些背景有助于商业和合规讨论。
Livingstone 说,网站长期以来都要处理未知客户端并防止滥用。智能体访问网站带来了相关问题:网站需要依据来决定是否以及如何与其交互。
Hardt 主张采用互操作协议,让人们能够分别选择执行工作和监督工作的组件。他认为用户不应完全依赖执行智能体的供应商定义所有边界。
Livingstone 同样倾向于联邦化标准,并询问新生态能否让不同提供商和资源所有者互操作。这是设计主张,而非已经确定的结果。
Davis 说,把行动与人的意图联系起来有助于问责和调查。用户想要什么、智能体尝试了什么、实际发生了什么,是应分别保留的事实。
他说,让相关背景随事件传递,可以帮助调查人员区分人为错误、智能体错误和其他原因。金融系统对部分错误交易已有处理程序;智能体工作流也需要类似的清晰度。
预算与边界
预订事件引出资源限制和沙箱设计。
Howe 讲述一起事件:餐厅预订智能体发出约 200 次调用,用户的 Resy 账户因此被封。讨论用它说明,即使目标正当,也可能产生不希望出现的影响。
Hardt 说,AAuth 的实验促使团队加入资源预算和时间限制。预算耗尽后,监督组件可以决定是否继续授权;智能体也可以收到消耗情况的反馈。
他把这与简单的速率限制作比较:后者会中断请求,却未必解释剩余额度。预算可以让资源稀缺性可见,但仍需要智能体自身承诺之外的执行机制。
Livingstone 描述把智能体的推理与工具和凭据分开,并用沙箱和外部出口代理建立授权边界。这个边界需要设计和维护,不会天然安全。
Davis 赞同分离的价值,但提醒上下文和记忆可能影响后续决策。他讨论有害的能力组合,以及在敏感工作期间动态移除工具。
例如,他建议智能体处理敏感邮件时限制外部出口,适当时再恢复能力。实际权限必须符合组织的威胁模型和工作流。
Livingstone 认为只提供相关能力也可能减少干扰和无效工作。他把这作为对智能体效率的判断,而不是圆桌上得到的实测结论。
生产与可审计性
嘉宾讨论环境信号、工程实践和独立日志。
Davis 说,生产工程的讨论正从单纯取得权限,转向动态授权、验证和何时让人介入。安全团队和应用团队需要共同语言。
Livingstone 介绍安全软件工厂参考架构,其中运行时授权只是编排、部署和监督等体系的一部分。他认为安全地迭代生产系统比生成代码涉及更广泛的挑战。
Howe 问网络安全可以从机器人学到什么:机器人行动前既要考虑意图,也要考虑不断变化的环境。
Davis 建议把位置、时间、设备状态和系统漏洞等环境信号纳入短时授权决策。可观测性可以保留相关背景,以便事后诊断。
Livingstone 认为执行边界和审计记录应位于智能体控制之外。可信记录应显示谁委派了什么、目的是什么,以及哪些行动获准或遭拒。
对 AI 风险的看法
嘉宾提出不同预测并结束圆桌。
圆桌最后对严重 AI 风险提出不同看法:Hardt 担心恶意行为者和滥用;Davis 对工程师改善控制措施有信心;Livingstone 对灾难性风险更为乐观。
这些都是预测和观点,并非圆桌已经证实的概率。共同的运营主题是,组织仍需要约束、观察并调查智能体的行动。
Hardt 区分意外失败和蓄意滥用,表示后者最令他担忧。Davis 强调通过工程不断迭代,Livingstone 认为社会可以从事件中学习;他们都没有给出经过验证的风险估计。
Howe 感谢嘉宾并结束讨论。参与者留下一个实践问题:如何把委派的目标与可执行的限制及独立记录联系起来。
同频道的其他文章
21:32EN → 简体中文
14:50EN → 简体中文
11:47EN → 简体中文
21:47EN → 简体中文
14:09EN → 简体中文
16:29EN → 简体中文