红队测试仍有 25% 的攻击得手，保险才是刹车

Nathan Labenz 以一个让他愿意自掏腰包的判断开场。Rune Kvist 和 Rajiv Dattani 是 AI Underwriting Company（AIUC）的联合创始人，他们希望为 AI 智能体提供认证和保险，让企业在采用时不必假装下行风险并不存在。Labenz 也投了这轮种子轮，与 Nat Friedman、Emergence 和 Terrain 一起入股。嘉宾在介绍公司时一直在讲这个核心观点：安全与进步不是取舍关系。第一件事做不好，第二件事可能也保不住。

在人们谈到灭绝情景之前，Kvist 先指向了今天更普通的一堆问题：数据泄露、安全与可靠性故障、品牌灾难，以及老问题因漏洞变多、人们理解又不深而被放大。往后推，这些系统会变得极其庞大，也聪明得多。按这种说法，能拿到出色科学帮助的恐怖分子，可能会更便宜地制造新病毒。今天看起来只是轻微欺骗的错位行为，随着模型变得更聪明，可能会变成一个高智商 CEO 所能实施的那种诈骗。相信 AI 能带来决定性战略优势的国家安全领导人，甚至可能先动手，发动一场看起来像常规战争、实际上却是为了模型而打的战争。

Labenz 把糟糕的未来概括为“核武式结局”：人类没有得到核技术本该带来的极其便宜的能源，却得到了笼罩在所有人头上的数千枚核武器。他担心 AI 也会被武器化，或者陷入冷战式的僵局，日常生活质量的提升因为几次早期事件就被冻结。他更喜欢用飞机来打比方：爆炸事故确实可能发生，但人们仍能便宜地飞来飞去，而去机场的路程反而更危险。他认为，一项变革性技术的最终走向，可能取决于少数几次早期事故。Kvist 说，这种分化已经有迹象。在旧金山之外，自动驾驶汽车开不了多远就会被叫停。无人机作战则越来越自主，却看不到类似的刹车。

积极的愿景是一个三位一体：保险、标准和审计。Kvist 用赛车手打比方。头盔和安全带的存在，是为了让你能更快地过弯。你越能驾驭和保护 AI 系统，就越能加速部署，并放手发展智能体能力。在这个框架下，末日论与加速论之间的争论漏掉了一个飞轮。Dattani 梳理了其中的机制：保险解决的是出了事谁来赔；标准是把最佳实践写成条文；审计则是检查你是否真的做到了。保险公司如果没有清晰的要求，就分不清好风险和坏风险，就像鲁莽驾驶会改变车险保费那样。只有标准没有审计，就只是自我声明，而自我声明本身就存在信任缺口。

历史上，保险公司出资制定标准、培养审计人员，并由此形成了让高风险企业合规的动力：它们想要保险，而且想要更便宜的保险。保险资产负债表上的资本为研究买了单，制造风险的人则希望保持可投保的状态。Dattani 认为，这是在 AI 治理讨论中已经占据主导的两极之间的一条中间道路。一极主张让开发者在自愿承诺下放手去做，另一极则要求立即出台严格的自上而下规则。保险公司希望你增长，因为增长才能带来保费增长，所以它们不会给产品加上没人愿意买的繁重规则。它们也不希望规则太松，因为最终赔钱的是它们自己。他说，这是一种市场机制，既能跟踪进步，也能跟踪安全。

他们认为，这个飞轮在美国实践中首次出现是在 1752 年。费城的人口在十年内增长了十倍，房屋挤得更紧，火灾风险随之扩散，而没有哪一个房主单独承担全城的下行风险。Benjamin Franklin 创办的火灾保险公司必须在房屋被烧毁时赔付，于是它开始制定建筑规范，规定房屋之间的间距，以及房子能否建在可能被雷击中的大树下；然后，它派出第一批检查员进入住户家中，核查规范是否得到遵守。标准、审计、保险，三者连在一起。到了 1900 年代，电器又让房屋起火，保险公司于是出资支持成立了 UL（Underwriters Laboratories）。灯泡上的 UL 标志，就是一套产品安全标准，而该机构会依据这套标准进行审计。这正是他们想要引入 AI 领域的机制。

Labenz 借 ChatGPT 查来的结果是：各类 AI 伤害其实已经处在现有保单之中，只是 AI 导致的事件算不算保障范围，还有些模糊。Kvist 和 Dattani 说，现在的状况就是模棱两可。AI 可能制造新的网络安全漏洞；人们本来就买网络保险；但 AI 引发的漏洞是否在保障范围内并不清楚，因为保单里没有“AI”这个词。他们预计会出现类似 2000 年代初的分化：当时计算机使机密泄露和系统停机以另一种频率和严重程度发生。诉讼拖了好几年，保险公司和客户互相起诉，网络保险最后被单独拆出来，因为它需要以不同的方式定价和设计。他们能确定的一件事是：现有保单还没有给 AI 风险定价，因为保险公司还不知道该怎么定价。

历史损失表救不了他们。AI 的发展速度超过了保险公司承保过的任何东西。今天如果基于历史 AI 数据推出产品，那将是一款前大语言模型时代的产品，对智能体风险一无所知。他们也缺少收集数据的途径。Dattani 说，安永的一项研究发现，企业遭受了百万美元级的 AI 损失；规模较小的公司则在数千到数万美元之间。保险公司甚至可能看不到这些事件。大量小额损失在企业内部被直接冲销，而媒体只注意到那些大的。加拿大航空的聊天机器人编造了一项退款政策，乘客信以为真，公司最后赔了钱。这类事情最终会让法庭去追问，AI 的错误究竟算谁的。没有产品，就没有数据；没有数据，就没有产品。

有两种工具试图打破这个循环。大家熟悉的红队测试和评测，在保险公司眼里会变成一个合成数据池：这个系统在这些方面失败了；如果这种情况发生在现实世界，数据泄露或诉讼会造成多大损失。而这正是保险公司的看家本领。测试得到的频率和严重程度，可以接入定价模型。另一种工具是参数型触发条件（parametric triggers）。与其打多年官司争论过错，不如事先约定：某种可验证的分布外行为，也就是在指定测试中越过某条线，就支付约定金额。这样更快，也比法庭便宜。Kvist 提到的另一点很容易被忽略：即使没有保单，也一直有人在承保。一家医院或银行部署 AI 系统时，就已经在为“上线还是不上线”定价。Labenz 用一句话点破：不管我们知不知道，我们每个人都在自保。他们认为，保险行业的严谨程度，比起每家企业里某个非专业人士独自做决定，更有可能把这个价格算准。

Labenz 担心，损失曲线更像风险投资的回报或实验室泄漏，而不是车祸：呈幂律分布，少数事件承担了大部分的分量，就像众多病毒里只有新冠闹成了大事一样。Kvist 说，没人知道尾部会是什么样，因为还没人见过。他们信任的类比是核电站保险。美国法律要求每个运营方都必须投保，并且无论责任出在供应链的哪个环节，都要承担赔偿责任。赔偿有上限：超过 150 亿美元的损失，转由政府资产负债表承担。市场可能扛不住最大的那些尾部风险。但政府依然需要保险行业，因为保险公司能提供独立的第三方审计人员，并且有直接的经济动机去为风险定价、推动做法落地，而政府未必有这样的专业能力，也未必有这样的速度。在他们的讲法里，小而频繁的损失是好事。它们产生的数据，能让你逐步摸索到那些罕见而昂贵的损失。全国性灾难仍然需要公共财政兜底，但私营这一层必须先存在。

休息之后，他们逐条介绍了 AIUC-1。Labenz 称它是他所知的第一个西方标准，用于构建和部署 AI 智能体。设计目标，是把那些拖慢采用速度的担忧整合进一个框架，细到独立审计人员能够核查企业是不是真的在做这些工作。他们与正在真实部署这些系统的企业中的 500 多人交流过：有安全负责人、总法律顾问，也有银行、医疗和零售行业的人。问题是：什么事让你夜不能寐？答案不会让任何人意外：数据泄露的规模变大了；向客户提供了错误建议；越狱（jailbreak）和提示词注入（prompt injection）；对申请人的歧视。老问题，但发生频率和影响范围都变了。

在实际操作中，一家银行在评估客服聊天机器人时，会要求提供 AIUC-1 报告：数据与隐私控制、安全实施、输出过滤、偏见与角色追踪、机器人是否会以怒对怒、是否能正确处理退款要求、基于事实依据和幻觉（hallucination）的缓解措施、人工介入的做法、社会风险等。理想情况下，一份第三方文件就能免去那一大堆问卷。Labenz 问，如何把 500 个人的意见提炼成共识，过度设计和真正的缺口之间的界线又在哪里。他们发现，大部分内容并没有争议。人们想要的是一套共同语言。标准往往规定的是必须披露什么，而不是统一的硬性门槛，因为医院和零售商的风险承受能力各不相同。报告把信息摆上桌面，买家自己判断能否接受。

最有争议的部分在社会危害：是否应该检查某个产品会不会让大规模网络攻击变得更容易。对任何一个单独的买家来说，这个问题可能显得很遥远。他们做判断时，考虑的是什么对整个行业的采用有利，而不只是某一个客户，因为就像核技术那样，一起事件就可能让整个行业冷下来。他们仍然希望这项检查足够务实，不至于让你花大价钱去追问每一个普通编程工具会不会搞垮一个行业。他们说，要保持关注，同时不能让审计变得不严肃。

需求来自两边。企业很紧张，问题一个接一个，有时干脆就不买。开发者则被困在一篇篇博客文章里一点点挣信任，只能自己给自己打分，或者提出自己的资产负债表根本兜不住的财务担保。最有远见的开发者和买家一样，也想要这种信心基础设施。Labenz 曾问 Tasklet 创始人 Andrew Lee（他的赌注是不画流程图，让模型自己去解决问题）会不会买保险。Lee 说，智能体还没有失控，但他还是想拿着一份保单去跟企业谈生意。这句客户原话，本身就是整个论点。

影响应该体现在数字上，而不是口号上。他们为一家开发者做认证时，会运行评测，通常要多轮。第一轮，他们往往能发现很多公司自己也想修复的问题。在某些类别的攻击上，攻击成功率可以达到 25%，这是任何安全团队都不想拿给银行看的数字。接着，他们用这套标准加上基于事实依据的过滤器、监控和内容审核层。他们说，同样的失败率，到第二或第三轮可以下降 90%。这里没有万能药，AI 安全仍是一个开放的研究问题。把基础步骤做完、重新测试，就能得到一条供应商可以拿给客户看的曲线：我们以前一团糟，三个月后，大多数攻击都被挡住了。Kvist 认为，正是这条曲线，让一家渴望成功的公司愿意投入工程时间，哪怕待办清单上还排着无数别的事。

Labenz 问，这套标准是止步于包装 API 的应用开发者，还是也会延伸到基础模型（foundation model）和物理数据中心层。Dattani 说，三层都适用，但目前在应用层最为突出：资产负债表更薄，承诺却更厚，而且它们才是真正在推出智能体的一方。一家顶级科技公司的审计与风险委员会主席曾告诉他们，公司在数据中心上投入了惊人的资金，而上市公司股东并不想承担停机、攻击或数据泄露的风险。我们能不能买保险？第三方能否保证，这些风险以昨天的设施没有做到的方式得到了管理？AIUC-1 并不涵盖这些。他们预计会与数据中心的买家和建设方重复 500 位高管的访谈流程，把做法固化为条文，然后以此为基础承保。之后，基础模型也会得到同样的处理。

Kvist 把它描述为一架梯子。先从数百万或数千万美元级的风险开始，然后是数亿美元或十亿美元上下，最后是数百亿美元。旁边那些小事故频发的领域，能给你数据，也给你攀升的资格。Labenz 的实地观察是：数据中心运营商至少知道，自己正在为已经建成的数十亿美元设施自保。基础模型实验室（少数例外除外）会对风险做分类，并构建纵深防御。过去两年里，应用层在很大程度上还是周末黑客松做出的东西，变成了没有任何防护的生意。这是唾手可得的果实，也正是企业买家最需要分辨的地方：哪些是尽力而为的团队，哪些是只管上线、祈祷不出事的团队。

Kvist 大体同意，但补充了不少细节。购买 Claude.ai，承诺的是一个有帮助、但会产生幻觉的工具，并不承诺它能在 90% 的时候纠正医疗建议。购买客服智能体，公开的说法是我们能解决 X% 的工单，言下之意是，在与你的客户交谈时，我们不会制造品牌灾难。承诺越厚，就需要越厚的保险。基础模型和智能体应用之间的界线也在变模糊。Claude Code 不是基础模型，它是模型加上集成和工具访问权限组成的系统。他们认为，“智能体”是更有用的框架。应用公司率先进入这一领域，大型实验室也在迅速进入同一空间。需求是双向的：一家自己开发内部客服智能体的银行，仍然希望第三方替它证明这个东西是安全的。

审计从真实事件的数据库开始。加拿大航空的聊天机器人编造了退款政策，所以要检查那些带有经济后果的幻觉。一篇论文展示了聊天机器人在实验条件下尝试勒索用户，这被归为更具推测性的事件。从这堆素材中，他们抽象出一套危害和攻击向量的分类，再加上最新的越狱研究，以及 Twitter 上那些玩弄提示词的帖子，把它们整理成检查清单。对每一种危害，他们规定技术、法律和运营层面的保障措施，以及必须运行的评测。用来减少幻觉的基于事实依据的过滤器属于技术层面；事情闹大时启用的 AI 事件预案属于运营层面。他们会查看代码库，也会读政策手册。然后进行红队测试，因为过滤器如果不起作用，就算不上过滤器。报告会说明已经落实了哪些措施、测试结果如何，而上线还是不上线，仍由企业自己决定。

Labenz 刚读完《The Attacker Moves Second》，作者包括 Nicholas Carlini、Sander Schulhoff 等人。静态防御能挡住你针对它调校过的那些攻击，但人类红队成员随后总能找到绕过的办法，在那项研究中成功率为 100%。怎样才能避免“安检脱鞋式”的安全表演？什么时候该停手？Kvist 说，这没有干净利落的答案。他们每次审计都跑好几轮，获得认证的公司承诺每季度复测一次。产品会变，事件环境会变，新论文会不断出现，这些都会被纳入测试体系。网络安全本身就处在这种状况中：只要投入足够的精力，每个系统都能被攻破。智能变得越来越便宜，可能降低好审计的成本，即便攻击面也在扩大。在哪里停下，是一个市场决定：买家愿意为哪种程度的保障付费？这很混乱，但其他领域基本也是这样定下来的。

由构建系统的公司付费，按年购买一张一年期证书，证书要求每季度进行一次技术测试。付费方可以是原生的 AI 供应商，也可以是自建系统的企业，比如一家认为内部客服智能体是护城河、但在上线前仍想要保证的银行。价格随风险面和价值而变动：规模更大的公司能用同一块标识赚到更多收入，通常风险面也更大。同样的买家往往还想在此之上购买保险，要么把风险从客户那边移走，要么让自己部署得更快。他们正在尝试认证的，不只是产品，还有具体的部署：比如某家银行的语音客服机器人，是否符合该银行的政策和客户群。正是这一层额外的保障，因为是在真实环境中运行的，所以能打开一份合同。

签合同之前，他们会做一次差距分析：对照标准，先看外部公开的证据，再逐条审查企业目前的状况。这会得出工作量估算（包括工程和非工程两部分）以及价格。Labenz 提到的每年数万到数十万美元的费用区间，他们说大体是对的。差距分析可以在 24 小时内完成。他们最大的客户有数千名员工，只需要安全团队投入寥寥几个小时，主要用于收集证据。最小的客户，开始时只有两三个人，则需要动手帮忙落实控制措施、修复测试中发现的问题。年底的重新认证，目的是让它像 SOC 2 或 ISO 那样成为常规流程，而不是一套全新的仪式。

是否每个 AI 应用最终都需要这种认证，就像每个司机都需要保险一样？Dattani 把这个问题一分为二。几乎每一个吸收客户数据或私有知识产权的高价值用例，都需要一个不是自己批改作业的人。保险可能会分化。传统 SaaS 常常是“祝您愉快”式的销售，运气好的话，能拿到一些服务抵扣。汽车和房屋是强制投保的。那些会产生外部性的高风险部署，应当放在真正的资产负债表上承担。Labenz 自己的公司 Waymark 做本地商家的广告片，它可以合理地判断风险可控，不需要保单。按这种划分，第三方测试几乎是普遍需要的，而赔付则不一定。

Labenz 在金融服务领域待过足够久，还记得那些评级机构。到了 2000 年代末，它们已经被俘获：你不给高评级，我们就去隔壁。评级很高的债券后来出了问题。你怎样才能让审计保持足够的独立和较真，又怎样防止在竞争者出现之后陷入逐底竞争？Kvist 的答案是让保险成为“切身利害”。穆迪有的是声誉，没有赔付机制，所以它没有把自己背书的风险内化。相比之下，UL 是由掌握损失数据、并且有直接动机让标准覆盖实际出问题环节的保险公司创办的。这正是他们想要效仿的历史。

要跟上前沿，是一件每季度都要做的苦差事，他们并不假装自己的团队能独自完成。他们从三类来源获取输入：一是他们认证的智能体开发者，这些人最清楚哪种新的防护措施真的管用；二是来自学术界和商业界的防护研究者，包括他们点名的斯坦福大学、伊利诺伊大学和 Haize Labs；三是一个由财富 500 强企业的安全与风险负责人组成的企业联盟，这些人站在部署的第一线。这些人会指出 AIUC-1 缺了什么，并帮忙撰写能够体现标准精神的要求。在保险方面，他们不打算把风险留在自己的资产负债表上。他们计划成为管理型总代理。保险公司付钱给他们，而他们的报酬与承保利润挂钩。大额损失意味着他们拿到的报酬变少，甚至一分拿不到。如果损失持续难看，承保方就会撤离，公司也就完了。他们想要的是那些已经理赔了数百年的合作伙伴，而不是自己手里一大摊业务。Dattani 说，保险本质上是资本成本与风险汇总的生意。他们希望专注于 AI 风险。

Labenz 问到加州的 SB 813 法案，即自愿选择私营标准以换取责任保护，也问到更广泛的责任改革。Dattani 的检验标准很简单：任何能培育监督市场、激励稳健评测又不挤压初创公司的做法，方向上都是对的。在他们看来，SB 813 没做到的，是迫使制造风险的公司真正承担风险。如果免费通行证和避风港太多，你就可以在不被追责的情况下制造风险。保险在这里的作用，是把外部性内部化：风险可以转移，但要付费。保单存在，风险并不会消失。如果一个框架让制造风险的人可以干干净净地抽身离开，它终将失败。这是设计问题，不是感觉问题。

早期的落地覆盖多种模态。在初创企业方面，他们与客服领域的 Ada 和 Intercom 合作，与代码领域的 Cognition 合作，与图像生成领域的 Recraft 合作。企业联盟包括风险与安全负责人，例如在摩根大通负责全行 AI 规划的人、Confluent 的首席信息安全官（CISO），以及 Anthropic 的副首席信息安全官，此外还有医疗和零售行业的人士，以及来自亚洲、澳大利亚和欧洲的声音。Labenz 以开场时的方式收尾：一个由私营部门构建的可靠性体系，由希望以一切负责任的速度前进的客户推动，似乎更有可能在技术不断变化的过程中，一次又一次地把细节做对。他们押注的约束条件，是信任能否变得可验证、可定价、可出售。模型质量并不是这里的关键。