从 40 小时到 28 分钟：Copilot 创造者教 AI 做渗透测试

红杉资本的 Konstantine Buhler 和 Sonya Huang 欢迎 XBOW 的创始人兼 CEO Oege de Moor 做客。他此前创办的公司 Semmle 被 GitHub 收购后，他创造了 GitHub Copilot；在那之前，他是牛津大学的计算机科学教授。XBOW 用 AI 渗透测试员实现进攻性安全的自动化，Buhler 称这是他们见过的“服务即软件”最好的例子之一。de Moor 表示，这将彻底改变企业实施应用安全的方式：大量常规的人工工作将被完全自动化取代，人们可以腾出手来做真正需要创造力的工作。

产品的第一版在业内用来磨练黑客技能的知名基准测试上做了测试，题目来自 PortSwigger、PentesterLab 等商业平台，得分是 75%。de Moor 的第一反应是肯定哪里出了错：这些题目太有名了，很可能早就在训练数据里，模型只是在照搬答案。于是团队另外做了一套全新的基准测试，完全原创，并且确保不在任何训练集里。结果得分更高：85%。

为了弄清这个成绩到底有多好，他们请来五位来自知名公司的专业渗透测试员，让他们解同样的 104 道题。其中一位处在这一行的顶尖水平，这类人通常会被请去保护规模数十亿美元的对冲基金。他的得分和 AI 一样，但他用了 40 小时，系统只用了 28 分钟。Buhler 说，红杉资本当初与 XBOW 合作时，这件事还停留在科学实验阶段，他们不知道 AI 能否接近人类的表现。de Moor 在 1 月或 2 月的时候也没想到这种跃升会来得这么快。他原本预计至少要一年才能达到一个合理的水平，而且那时达到的也只是一位平庸的人类测试员，而不是顶尖的。

公布结果后，他们一直在和一些早期的设计合作伙伴合作。录制当天早上，系统在一家大到人人都听说过的金融机构身上发现了一个严重漏洞。这家机构安全预算庞大，一直有人类渗透测试员在持续攻击它。AI 先爬取了网页应用，找到一段 PHP 源码，源码用一种不安全的签名算法去访问另一台主机；它生成了链接，在那里没发现什么有价值的东西，于是继续爬取，把同样的手法用到另一个端点上，又缺一个参数。它找到一段 JavaScript，里面有候选参数，逐一尝试后成功进入，又发现一个本来用于下载 PDF 的端点，居然也能返回一个密码文件。de Moor 说，他们大约每两天就会遇到类似的发现。运行轨迹显示，AI 的探索方式很像人类渗透测试员，会走出一些大多数专家都很难想到的、有创意的路线。

Huang 请他退一步，给市场下个定义。de Moor 说，进攻性安全（offensive security）目前是保障系统最好的办法：邀请外部专家模拟攻击，把发现的问题报告出来，以便在坏人下手前修补。这需要多年培训，既昂贵又慢。一次典型的渗透测试大约要 1.8 万美元，所以人们每年只做一两次。这说不通，因为系统的演变快得多，总会有一段时间，不安全的系统暴露在外。XBOW 把这种高技能活动自动化了，而且由于是自动化的，它可以持续运行，而不是每年只做一两次。

为什么要做这个市场，在十几个团队都在抢 AI 编程的时候？这是自然的下一步。Semmle 能在源代码里找到缺陷，还有一支进攻性安全团队用这款产品查找潜在漏洞；研究人员随后手工找出利用方式，并公之于众。即便如此，他还是觉得尴尬，因为最后一步仍需人工完成。GitHub 收购了这家公司，他创办了 Copilot，于是很自然地把对 AI 的新兴兴趣用在自动化进攻性安全上。他很幸运，Semmle 的明星研究员 Nico Waisman 加入他，一起创办了 XBOW。

Huang 问了一个更尖锐的问题：和端点安全或网络安全相比，渗透测试是一个规模小、高度依赖服务的市场。AI 会怎样改变它？de Moor 的回答是：它之所以小，是因为只有一小群高技能人员在做，而 AI 将从根本上改变这一点。现在人人都能写代码，但并不是人人都懂安全；而生成代码的模型，训练数据来自满是漏洞的公开源码，所以我们生成了更多代码，安全问题也更多。攻击者已经在用 AI 提升效率。代码更多，攻击也更多：XBOW 所做的自动化就变得绝对必要了，他认为这个市场会大幅增长。

Buhler 用战争做比喻。网络安全是对抗性的，是一场猫鼠游戏，与实际冲突并非完全不同。军方几十年来一直在做战争推演和红队演练；在 Buhler 看来，de Moor 打造的是第一个 AI 网络战士，一种能做到以往任何软件都做不到的事情的软件。结果公布后，华盛顿和西海岸都有人打来电话：这件事影响极大，敌对势力也没有忽视它。如何在与国家级对手的竞争中保持领先，并让 XBOW 继续成为正面力量？de Moor 的回答有两点：速度，XBOW 与几家领先的基础模型开发者密切合作；以及控制。这款产品只提供云端版本，不作为可下载的软件发布，因此公司可以控制攻击的范围，并要求客户证明目标确实是他们自己的，而不是别人的。

Huang 想知道，这些“魔法”有多少来自基础模型，又有多少来自 XBOW 在其上所做的工作。de Moor 说，大部分在上层。他们与几家基础模型供应商合作，并且很乐见这些厂商轮流领先：这家先进一步，那家又追上来，而基础模型每变好一次，XBOW 都会受益。真正的魔法来自安全团队，他们中有一些是世界上最顶尖的黑客，这些领域知识决定了产品的工作方式。

这套技术栈有几个明确的组成部分。第一是基准测试，基准测试，还是基准测试：它是这类产品的命脉，被组织成一套课程，用来教模型解决网络安全问题，同时也是评估其他一切改动的依据。第二是交给大语言模型的工具。人类渗透测试员有一整套工具箱，在这里，这些工具必须能与语言模型良好配合。最初专注于 Web 安全，他们需要一个能让 LLM 操控的浏览器，能点击、能填表，于是专门做了一个。第三是护栏。用基准测试试用产品时，它让他想起一个过于热情、聪明过头的少年：它会发起大量攻击，找到点什么，然后兴奋起来，说，我做了个 SQL 注入，让我给你看看还能干什么，然后执行 DROP TABLE。对客户来说，这是灾难性的。渗透测试不是真正的黑客行为，你不能造成对抗性黑客会造成的伤害。护栏会在这个少年身后盯着，阻止不安全的动作。

还有一个前置阶段，即攻击面发现。他们有一个极好的漏洞利用发现器，但你得先把它指向正确的端点。前面会先运行一批工具，确定优先探测的位置。然后是提示工程，包括思维树（tree of thoughts）提示，让它保持在正轨上，完成一个目标后再进入下一个。有人问，怎么防范那些不会加上这些护栏的攻击者？de Moor 给出了显而易见的防护措施：防火墙，而 AI 在这方面也会发挥作用；但首先也是最重要的，是要在坏人之前找到漏洞和利用方式。这正是 XBOW 要做的事。

在安全领域，幻觉和随机性模型带来的问题，和一个只有 60% 的时间答对的聊天机器人相比，性质完全不同。幸运的是，因为是自动化的，你只需多跑几次。更好的基础模型找到漏洞所需的尝试次数更少，这会影响你如何部署、打包和定价产品。人类本来就是按花了多长时间、试了多少种办法来付费的。XBOW 也在沿着类似的思路考虑：订阅许可，此外如果想要非常彻底的测试，还可以购买攻击小时。推理时的计算只会对他们有利。交付的价值保持不变，而交付价值的成本在下降。在 XBOW 短暂的历史中，他们已经看到了这一点，并且预计这一趋势还会继续。

Buhler 的思维模型是一个状态空间，里面有数十亿种可能的操作。XBOW 引入的是一种智能启发式方法，而不是把每个状态都执行一遍。这是否正因为此，它才可能成为全自动 AI 的首批市场之一？因为哪怕一个漏洞利用都极其有价值，而且没有人指望做穷举式搜索。de Moor 同意你不需要枚举一切，但客户确实希望确保你能找到一位高水平人类会找到的所有问题。这就是为什么在第一套基准测试用完之后，他们又在做一套新的。人们做进攻性安全演练，不只是为了找到某个漏洞，也是为了对“自己不知道的东西”心里有底。XBOW 必须拿出证据。一旦发现漏洞，验证器会自动检查报告是否正确、可复现，然后才交给人。最后，还是需要人来查看并修复问题。

最令人惊讶的结果，并不是那个头条分数。最初的基准测试附带了特定的指令：你要测试一个用于管理医疗处方的 Web 应用，试着登录，访问另一位用户的处方。系统成功做到了。然后他们做了一次任务，把指令完全拿掉：这是一个 Web 应用，去探索吧。AI 找到了完全相同的漏洞。它读了页面，推断这是关于医疗处方的，判断一个用户访问另一个用户的处方大概不是好事，然后便自主去找到了它。de Moor 认为，这正是这项技术相比以往所有安全工具如此令人兴奋的原因。LLM 对现实世界有理解，能判断哪些东西值得测试，也不需要做完整的穷举搜索。

Huang 提到 AlphaGo 的第 37 手，问系统会不会用人类想不到的方式攻击。现在还为时尚早，目前的运行轨迹与一位优秀人类的做法非常接近。de Moor 对所谓的《苦涩的教训》保持警惕：随着它持续从数据、基准测试和更多示例中学习，它会开始找到人类视角下难以想象的攻击方式。他也同意这是件好事。他完全预期，几个月内就会超出类人的打法，几年内肯定会超过。剩下的大部分改进，将来自更多数据和针对特定示例的强化学习，这和围棋的曲线是同一类。

更多数据有两条途径。安全专家承包商会制作更多基准测试。他们还开始挖掘开源项目；最近，他们让系统在 Docker Hub 上的大量镜像上自由运行，每次它找到点什么，就成了新的学习材料。它可能要尝试 100 次。在客户环境里，100 次嘈杂的攻击，就足以让你被切断。而在他们自己的服务器上、针对开源项目，这 100 次尝试会变成训练信号，让模型下次能更快地找到同一类漏洞。

Buhler 问，在把 Copilot 产品化的过程中，de Moor 有没有看到过 AI 会自动化整个流程（也就是智能体）的时刻，以及安全是否已经在那份清单上。2020 年 12 月，他写了一份备忘录，勾勒出后来成为 Copilot 的雏形，当时就已经在推测它也许能自主修复漏洞：看一眼问题工单，然后动手。这项功能现在正在出现。让他意识到这件事会发生的时刻，是一组牛津大学的面试题。一次尝试做不到，一百次，甚至一千次尝试，就能解决大部分题目。那一刻就很清楚了：随着模型变好、所需尝试次数变少，它们就能做这类事情。他们当时也希望 Copilot 能做安全分析，尽管在 2020 年夏天，他的清单上还没有进攻性安全这一项。

把 Copilot 产品化的过程中，最有意思的一课是团队的规模。发布时他们只有十个人左右，这证明了一支信念坚定的专门团队能跑得多快。XBOW 发布结果时有 13 人。在代码生成创业公司这个拥挤的市场里，他很欣赏其中很多正在做的事，尤其是 Cursor 和 Factory，但要和 GitHub 的分发能力竞争，真的很难。在另一个市场里可能有机会：GitHub 在专业开发者中居于主导地位；如果你瞄准的是不以写代码为生的人，那里还有空间，Replit 在这方面做得相当好。

更大的变化是，将会有多得多的人能够自己创造软件。即便是专业人士，工作也将更多地围绕概念性的想法和勾勒架构展开，然后由 AI 去补充细节。从长远看，他认为我们可能会离开今天所熟悉的代码形式。开发者所产出的成果，是与模型的对话，而这才是应该保存下来的东西，因为它记录了代码应该做什么，而不是某种具体语言里的细节。英语就是编程语言，也许再加上一些图表，这是抽象层次上的又一次提升：从机器语言到高级语言，再到自然语言和图像。

Buhler 转到牛津的岁月：de Moor 曾是莫德林学院（Magdalen College）的计算机科学教授。那是个宁静的地方，有鹿苑，有一扇比美国还古老的门，教授可以踩着草坪走，而来访的学生却不行。他为了 Semmle 放弃了这一切。他投身计算机科学，是因为热爱写代码。他的第一个程序是一个文字处理器，好让他的父亲，一位闪米特语言学教授，能用电脑打字写手稿。作为学生，他被数学和基础理论吸引；作为教授，他想重新回到写代码的工作中，于是创办了一个编程工具研究小组，后来分拆出了 Semmle。他很喜欢莫德林学院的宁静。在这个领域，速度极其重要，而速度只能靠有盈利动机的小团队实现。因为客户不签约而被迫发明，和学术会议的截稿日期是不同的压力，他很享受那种兴奋感。基础研究属于大学，应用工作则没有哪里比创业公司更合适。

作为最早一批以智能体为先的“服务即软件”公司之一，XBOW 正在树立定价的先例。它的核心价值主张，是作为工程流程的一部分持续运行：在每次变更后都运行，在问题进入生产环境之前修复，而不是一年只做一两次渗透测试。最直观的模式是按工程团队规模计费，类似 GitHub Advanced Security。还有另一个维度。有些客户会想要一次超级彻底的测试，把每一个可被利用的漏洞都穷举排除，所以应该有服务的部分：多付钱，就能得到更彻底的测试，即所谓的攻击小时。普通许可按工程师人数计，并附带固定的攻击小时数；想测得更深，就另付服务费。这样，前端能动用服务类的预算，后端则保有软件的毛利率。他认为，企业软件正在走向按使用量计费，而攻击小时与客户收益之间的关联，必须非常清楚。

Buhler 把这项工作定位为影响力。de Moor 的说法略有不同。他们绝对必须做 XBOW，因为如果他们不做，坏人就会先到达那里。这件事很有意思，也是一个很好的商业机会，但对自由世界来说，它也是一项必须完成的使命：保护自由世界的所有软件。目前他们仍处于谨慎阶段，只有少数早期设计合作伙伴，因为那个聪明过头的少年仍然需要人来监督。一旦他们有把握在没有人监督的情况下放手让它运行，一切都会走得非常快。这款产品很容易部署：把它指向现有的服务器，立刻就能得到结果。他预计到明年夏天，他们应该已经显著改变了 Web 安全的现状，希望能通过在开源项目以及 HackerOne 这类平台上展示成果来做到这一点。

快问快答。除 XBOW 之外，他喜欢的创业公司包括 Suno，几句话就能生成一首完全原创的歌；还有 Harmonic，把 AI 应用于数学推理。他给妻子发过一首 Suno 生成的歌，唱的是在马耳他家中阳台上坐着的情景。服务即软件的其他市场：短期来看，客户支持相关的一切；虽然模式不完全相同，但 AI 也许能缓解社交媒体对儿童心理健康的影响；长期来看，健康和生物学会产生最大的影响。给创始人的建议：只专注于一件事，尽可能快地行动。未来十年，AI 能带来的最好的事情，就是在健康和生物学领域把更好的结果带到各地；他提到了 Dario Amodei 的文章《Machines of Loving Grace》。