John Feminella：9 亿美元的银行失误与 AI 智能体的五项控制

我在 Two Sigma 从事 AI 架构和工程工作。本次演讲的观点仅代表我个人，不代表公司。在受监管的行业中，理解控制措施价值的一种方法，是观察它们失效时会发生什么。

2020 年 8 月之后，商业贷款协议中开始出现一项新条款。想象一家银行作为借款人与贷款人之间的代理，错误地将全部未偿贷款付给了贷款人。银行希望拿回钱，但贷款人可能认为自己只是收到了还款。

这与 Revlon 发生的事情类似。这家化妆品公司在 2016 年签订了一笔定期贷款，分给 300 多家贷款人。Citibank 是管理代理：它负责管理交易并将借款人的钱转给贷款人，而不是自己出借资金。

2020 年 8 月 11 日的计划是支付约 800 万美元的应计利息，同时通过账面交换将本金转入新贷款安排。本金不应离开银行。在 Flexcube 处理系统中，操作人员可以将交易记录成整笔贷款已还清，以便计算利息。

本金本应进入银行内部的过渡账户，完成账务记录但不实际离开银行。front、fund 和 principal 三个字段都需要填入该账户并勾选复选框。实际操作中，所需的复选框没有全部勾选。

Flexcube 警告有资金即将离开银行，但正常支付利息时也确实会有钱转出。三名审批人员审核了交易，警告最终被忽略。系统没有把本金转到过渡账户，而是将全部未偿本金发给了贷款人：约 9 亿美元，而非 800 万美元。

贷款人收到的金额相当于 Revlon 全额还款时应付的钱，尽管公司并不打算这么做。一些贷款人不愿退款，认为贷款已经偿还。此后出现的新合同条款试图防止这种结果再次发生。

这与 AI 智能体有什么关系？银行有流程和控制措施，人们也相信自己在做正确的事。如今我们正赋予智能体对真实系统的自主操作权，因此问题是：如何防止类似事故，同时不把一切锁死，也不单靠运气？

智能体具有非确定性，但人也会犯错。公司通常不会完全取消人的自主权，而是提供边界、可见性和控制措施，让人能够工作。我认为安全与创新可以一起设计，而不是只能在两者之间取舍。

有几种看似诱人的方法对我们不起作用。没有实际访问权限的沙箱虽然安全，却不太有用；完全不受约束的智能体在受监管企业中隔离又太弱。政策文档或提示词中的指令本身也不能可靠地在运行时强制执行。

另一种方法是组合多项控制：每项做好一件事，共同让智能体在适当的安全水平下拥有真正的自主性。我重点介绍五项：注册表、基于风险的审核、活动控制、共享评估和运行时分类。

第一个问题是智能体四处扩散。不同团队和个人创建聊天机器人、连接工具、笔记本实验和网页应用。没有统一视图，就很难回答谁负责智能体、它能用什么工具、打算做什么，也难以复用和治理。

一种应对方式是为每个实验设置严格审批。但如果简单的笔记本实验也要排在高风险部署之后，人们可能放弃想法，或转向不易发现的影子 IT。我们需要让智能体可见，同时不给每个想法施加同样的负担。

智能体注册表记录负责人、所属产品、工具和访问端点。人员、程序及其他智能体都能发现已有资源，并以注册表作为可信的信息来源。在我们批准的构建框架中，注册会自动发生；也可以手动注册。

第二项控制考虑风险差异。汇总 Jira 或 Linear 工单的智能体，与能够修改线上系统的部署智能体，并不是一回事。要求两者经历同样漫长的审核，会浪费审核人员的注意力，也可能拖慢有价值的低风险实验。

多数企业智能体有明确用途，不像开放式编码智能体无法预先知道用户会提出什么要求。它们声明的工具、端点和控制措施有助于区分风险。基于风险的审核可以把人工注意力集中在真正需要的地方。

第三，访问权限应与智能体的用途相匹配。调用网页工具、内部 API 或角色账户，会带来不同类型的风险。关键问题是智能体完成任务需要什么粒度的权限，而不是是否让所有智能体获得同样的权限。

统一只允许少数安全工具可能让智能体无法发挥作用，并促使团队绕过限制。更好的办法是由作者声明所需工具。例如，研究摘要智能体可能需要访问网页，发布部署智能体则可能没有理由使用该工具。

在受管理的环境中，智能体启动时从注册表读取声明的策略，并将其转换为对主机、端点及其他资源的可执行限制。如果智能体符合风险评分和注册规则，团队就不必为每一次权限变更单独提工单。

第四，智能体需要评估，就像软件需要单元测试。模型是一项运行时依赖；模型变化时，如果没有测试，团队就无法知道输出质量会如何变化。但每个团队各自构建评估基础设施，又会重复很多相同工作。

全公司共享的评估框架可以提供通用处理、集成和指标，各团队只需补充自己智能体特有的测试。目标是保持快速迭代，不让每一次提示词修改都等待中央委员会审批。

最后，要求人工批准每个动作无法扩展。智能体并行运行或进入生产环境后，请求可能比人能审核的速度更快。反复点击同意会导致审批疲劳，使人更可能在重要问题上犯错。

我提到一个例子：据报道，一个智能体原本被要求提出邮件删除建议并等待批准，但在上下文压缩时丢失了这一指令，随后删除了邮件。这说明，书面指令和不堪重负的人工审批流程本身并不足以构成保障。

更有用的办法是让独立、保守的分类器处理常规调用，把含糊或后果重大的请求交给人，并直接拒绝明显危险的动作。如果某种操作几乎每次都获批准，或许更适合将其写成明确规则。

明确规则适用时，可以走快速的确定性路径；规则不适用且仍有模糊性时，再由分类器评估。这些控制需要在运行时发挥作用，并与注册表、风险评分、访问护栏和共享评估共同工作。

汽车为什么有刹车？不只是为了停下，更是为了能够快速行驶并安全停车。智能体控制措施也应发挥类似作用：让有用的工作得以开展，同时保留防止或控制危害的能力。