测试邮件连接的 AI 智能体能否抵御提示注入

原标题Testing an Email-Connected AI Agent Against Prompt Injection

Matthew Berman 邀请研究员 Pliny the Liberator 测试他的 OpenClaw 系统。据他称,测试消息被隔离;这反映的是一次有限演练的结果,并非安全保证。

PLPliny the Liberator嘉宾
频道
Matthew Berman
发布
2026年4月3日
视频
14:54
阅读
4 分钟
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

在这段 2026 年 4 月的视频中,Matthew Berman 授权 Pliny the Liberator 向一个据称能够访问个人信息的 AI 系统发送对抗性邮件。最初的消息进入垃圾邮件文件夹,Berman 称后续尝试均被隔离,包括他透露模型后增加的一次尝试。视频没有展示已经确认的数据泄露,也没有量化额外使用成本;有限的观察不能证明系统能够抵御其他攻击。Greptile 赞助了视频中的一段内容。

  1. 1经授权的挑战Berman 提供一个由智能体扫描的邮箱地址,但不透露配置细节。Pliny 经 Berman 许可测试该系统。
  2. 2垃圾邮件与隔离最初的消息进入 Gmail 垃圾邮件文件夹;Berman 允许该发送者后,称后续尝试被隔离。
  3. 3用量与可用性Pliny 描述了一种可能的资源耗尽攻击。视频没有报告实测账单,也没有证明账户额度已用尽。
  4. 4额外测试Berman 透露模型并允许再尝试一次;他说该消息也被隔离。
  5. 5结果的边界Berman 为观察到的结果感到高兴,同时承认没有 AI 系统能永久安全。这次实验不能排除其他途径或漏洞。

要点建议

  1. 这次演练使用少量经授权的对抗性消息,测试一个读取邮件的智能体。
  2. Berman 说 Gmail 拦截了最初的消息,而他配置的系统隔离了后续尝试;视频没有展示成功的数据外传。
  3. 在某些系统中,大型输入可能带来成本或可用性风险,但视频没有确认实际产生的费用。
  4. 更强的模型和人工审查可能有所帮助,但单靠选择模型不能保证抵御提示注入。
  5. 演示仅限于观察到的配置和尝试,不能证明系统永久安全。
全文

按章节阅读整理后的全文

只看原始文稿
01

挑战与初步探测

Berman 邀请 Pliny 在不了解内部配置的情况下测试邮件连接的助手。最初的消息被垃圾邮件过滤器拦截。

Matthew Berman 邀请使用化名的 AI 研究员 Pliny the Liberator 测试他的个人 OpenClaw 系统。Berman 说系统能够访问敏感的个人资源,并提供一个邮箱地址作为测试入口。这次演练获得了所有者授权;尽管视频标题很戏剧化,画面并没有展示已确认的文件、密码或邮件盗取事件。

Berman 最初没有透露模型和系统架构等细节。Pliny 估计自己至少影响系统一部分的机会很高,同时承认是在不了解内部情况的条件下工作。这只是参与者的预测,并非实测概率。

Pliny 首先用异常大的输入和其他测试消息探测系统,试图引出可识别或意料之外的行为。Berman 说最初两封邮件进入了 Gmail 垃圾邮件文件夹,随后允许该发送者,以便其余测试进入智能体的筛查流程。通过邮件过滤器与攻陷智能体是不同的步骤。

02

资源使用与隔离

两人讨论异常大的输入是否会消耗智能体的处理额度。Berman 报告了一次隔离,并插入 Greptile 的赞助内容。

两人讨论了一种资源耗尽场景:处理非常大或反复发送的消息可能消耗 Token,进而增加成本或耗尽额度。Berman 说系统曾短暂出现意外行为,随后一条消息被隔离。视频没有提供经核实的总用量、账单或额度已耗尽的证据。

视频包含 Greptile 的赞助内容。Berman 说自己使用这款代码审查产品。其宣传主张与安全演练是两回事,不能证明该产品会阻止此次攻击或让生成的代码安全。

03

尝试引导行为

Pliny 尝试影响助手的输出,然后将一条消息伪装为内部指令。Berman 称两次尝试都被隔离。

接下来,Pliny 尝试引导智能体输出,然后发送一条伪装成内部指令的消息。他解释说,即使没有完整的数据泄露,回答发生变化也可能表明出现提示注入。Berman 说这些消息被隔离;画面中有限的结果没有揭示完整的检测或执行机制。

04

最后一次尝试与结果的边界

得知模型后,Pliny 再次探测信息披露问题。Berman 报告消息被隔离,并在没有展示数据泄露的情况下结束了这次有限测试。

在所称的五次尝试之后,Berman 允许额外再试一次,并透露筛查模型是启用了推理功能的 Claude Opus 4.6。Pliny 单独对该模型测试一个候选输入,看到模型拒绝遵循嵌入的指令。单独一次模型回答不能确定每种部署或攻击都会如何表现。

两人讨论了更强的模型和人工审查作为可能的防御措施。双方都认为能力较强的模型可以成为有用的筛查层,但没有任何模型是绝对可靠的安全边界:访问限制、隔离、监控以及对敏感操作的审批同样重要。他们的讨论是对此次演练的看法,并非对照基准测试。

在额外尝试中,Pliny 描述了如何通过看似无害的请求试图诱导系统披露私人信息。Berman 说该消息也被隔离。视频没有展示成功的数据外传,但具体权限以及检测是否完整都没有经过独立审计。

Berman 为观察到的隔离结果感到高兴,同时承认没有 AI 系统能永久安全。这是对一个特定配置进行的规模较小、时间有限的测试,并非认证,也不能证明未来尝试都会失败。视频没有报告后续入侵,也没有提供除观察到的测试消息处理结果之外的实测影响。

同频道的其他文章

12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
0:26EN → 简体中文
Matthew Berman· 2026年10月25日Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中,Altman 思考解决难题的乐趣,以及人在解读结果时的作用。Human-AI CollaborationFuture of WorkAI Strategy
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
2 张幻灯片0:21EN → 简体中文
Matthew Berman· 2026年10月24日AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表,随后发现图中的数字只是示意性占位值。Benchmarks评估Generative media
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
Matthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1