一个攻击者加一个 for 循环:在 AI 军备竞赛中,邮件为何仍是最软的靶子

原标题One Attacker and a For Loop: Why Email Is Still the Softest Target in an AI Arms Race

Material Security 联合创始人 Ryan Noon 谈:2016 年大选黑客事件、谷歌与微软的邮件双头垄断,以及大语言模型(LLM)如何同时改写网络安全的攻防两端。

SGSarah Guo主持 · Conviction
频道
No Priors
发布
2023年10月26日
视频
36:22
阅读
15 分钟
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

在《No Priors》节目中,Ryan Noon 向 Elad Gil 和 Sarah Guo 讲述,Material Security 最初是在 2016 年 Podesta 邮件泄露之后,做的一个保护 Gmail 的小技巧,后来演变成一场纵深防御的押注:假设攻击者已经身处收件箱之中。他认为,大语言模型(LLM)对防守方和攻击方都是阶跃式的变化:防守方可以用每次约 1.5 美分的成本做告警分诊,攻击方则可以让一个人同时监督上千场钓鱼行动;而开放社会已经把柔软的腹部亮给了互联网。对话的其余部分,是一位创始人对网络安全产业综合体的巡览,讨论平台为何会留下安全漏洞,以及创业公司为什么应该先把现成的模型用透,而不是假装自己拥有微调(fine-tuning)的护城河。

  1. 1Material 的核心理念是纵深防御:先假设攻击者已经翻过了墙,然后在后面再砌一道墙,并架上机枪。这家公司过去曾把自己称作邮件的安全带。
  2. 2业界长期念叨的“技能短缺”,有一个很直接的回答:大语言模型相当于人类的 90%,而成本只需约 1.5 美分,并且它已经擅长把嘈杂的告警整理成分析师能够判断的内容。
  3. 3Noon 说,最大的新威胁并不是花哨的语音克隆。如果攻击者只是把钓鱼邮件的拼写检查做好,整体网络风险就会实质性地下降,因为安全领域仍然有大量工作是文本,是人通过计算机相互信任。
  4. 4在国家层面,他的说法比常见的核武器比喻更尖锐:智能本身已经变成了一种可以拿来搞军备竞赛的商品,这是一场红皇后式的竞赛,停下来就意味着落后。
  5. 5大多数官员仍然是透过去年 ChatGPT 的新闻头条来看待模型的,并担心它们会“胡编乱造”。人们还没有意识到,计算机的思考方式已经比以往显著得多。Sarah Guo 补充说,卖铲子的生意被过度炒作,而关于十年后社会会怎样的严肃讨论,却被低估了。
  6. 6每一次断层都会催生新公司,也会让整类产品过时Noon 曾放弃对 Snowflake 的 B 轮投资,因为他认为 AWS 会把安全功能捆绑进去;后来 AWS 告诉他,租户并不拥有 CPU,所以平台完全可以偷懒。
全文

按章节阅读完整文稿

01

2016 年一个被泄露的 Gmail 收件箱,就足以催生一家独角兽

Elad Gil 把 Ryan Noon 介绍为 Material Security 的联合创始人兼董事长,这家公司想让云端邮件成为存放敏感数据的安全场所。Noon 此前创办过 Parastructure,后被 Dropbox 收购,他随后在 Dropbox 担任工程经理。Gil 指出,Material 把早期的大语言模型 API 投入生产的速度异常快,不过他首先想听的是公司的起源故事。

Noon 把公司的起点定在 2016 或 2017 年。当时他已经离开 Dropbox,住在欧洲,看着那一年的选举黑客事件,心情用他自己反讽的说法来讲,叫作“热爱”:普通的 Gmail 账户一个接一个被倒进互联网上。他设计了一种保护个人 Gmail 账户的新办法,把它写成代码,结果很吃惊,Gmail API 居然真的允许他这样做。老家的朋友们把它看作一个更宽泛想法的特例。Noon 说,七年后,它已经是网络安全独角兽级别的事业,团队与世界上一些最有意思的公司合作。

02

谷歌与微软的双头垄断,让邮件成为改变世界的单点故障

产品的论点是:现代工作和私人生活都挂靠在谷歌和微软的账户上。邮件只是起点,Material 之后又深入到这些账户能解锁的一切之中。商业客户的核心是运行 Google Workspace 或 Office 365 的中大型企业,其模块对准的是真正让安全团队夜不能寐的那些担忧。

第一个大模块,是在收件箱和归档中搜寻多年积累的敏感文件,进行脱敏(redact),然后用一份干净的副本替换掉原件。如果攻击者下载了整个邮箱,也拿不到任何有用的东西;如果所有者需要原件,只要按一下按钮,再通过 Face ID、Touch ID 或更严格的工作策略,就能解锁。后来公司又加入了反钓鱼和账户接管防护,针对的是攻击者已经进入之后会做的事,比如重置银行凭证。

他们的运营理念是纵深防御:假设坏人已经翻过了墙,然后问他们想要什么,并在后面再砌一道墙,架上一挺机枪。Material 过去曾把自己标榜为邮件的安全带。撞车已经够糟了,冲破挡风玻璃更糟。Gil 把公司创立的动机与 Podesta 邮件事件和希拉里·克林顿的竞选联系在一起。Noon 同意这一点很重要,然后指出结构性的问题:谷歌和微软形成了完全的双头垄断,所以它们哪怕漏掉一个很小的环节,影响也能改变世界。每隔几个月,就会冒出一条新闻,说又一位内阁部长的邮件被黑了,因为所有鸡蛋都放在了微软这一个篮子里。双头垄断在市场上很稳定,在安全上却极其脆弱。Material 的存在,就是为了堵上它们留下的那些门。

03

把整个互联网喂给一百万块 GPU,它就学会了一些网络安全

Gil 问 Material 是怎样开始使用生成式模型的。Noon 的回答是:只要你给程序员一个 REPL,他们就会开始迭代,而 ChatGPT 就是一个够用的 REPL。在把玩它的过程中,他们发现其中已经内置了大量网络安全领域的知识。他说,如果把整个互联网喂给一百万块 GPU,它就会学会一两样网络安全知识。他当时用的类比,是《真人快打》里的 Shang Tsung:模型等于吞噬了成千上万名安全工程师的灵魂,那你不妨直接用它。第一个投入生产的用例是运维:提纯信号,过滤噪声,然后交给一个知道攻击者在想什么的人。事实证明,大语言模型在这件事上非常出色。

他对那些主要靠微调来假装拥有护城河的创业公司不以为然。他作为工程师说,他知道自己的余量在哪里,甚至 GPT-3.5 都还有很多余量。十八个月前对计算机来说非常困难的事情,现在现成的模型已经能轻松做到。他给业界的建议是先把饭嚼碎,也就是先打好基础。进攻性用途是人们不该公开谈论的话题,但坏人已经在谈了;而安全领域一直带着军备竞赛的性质,所以只要攻击者存在,世界就需要做安全大语言模型的公司。

他从创始人那里反复听到的一句套话,是网络安全的技能短缺,仿佛美国应该恢复征兵,给每个人颁发一纸证书。他的零阶答案更简单:你已经有了一个人类 90% 能力的东西,只要花约 1.5 美分,所以就从它开始,等枯燥的工作做完之后,再去迪士尼乐园玩一趟。他补充说,最好的安全工作,并不来自供应商每年八月在拉斯维加斯请 CISO 吃牛排、送法拉利,而是来自一名出色的工程师自己动手拼凑出来的东西。他举了 Socket 的例子:分析 npm 依赖,并搜寻遗留在代码库里的密钥。这些杂乱的文本问题上,模型已经相当擅长阅读代码。

04

只要一个 for 循环,攻击就不需要语音克隆

被问到这项技术最大的网络威胁是什么,Noon 说,他说的是文本模型,因为网络安全中大部分都只是文本。确实有一些恶劣的案例,电话里的声音被伪造得非常逼真,而 ElevenLabs 和 LMNT 之类的服务 API 让这件事更容易。Gil 提到了经典的骗局:假冒 CEO 给新员工发短信。Noon 更尖锐的观点是,人是通过计算机来信任其他人的,而这正是关键的错误。普通犯罪分子已经在发的攻击信息,连语法都不通。如果你只是用一个现成的开源模型,帮坏人做拼写检查,这仍然会对网络风险产生实质性的影响。

至于一个假想中的 GPT-6 会把情况恶化到什么程度,他在与一位白宫人士的交谈中,用的比喻是青铜时代与铁器时代。如果邻近的部落已经有了铁,而你手里还只有青铜,那你的日子就会很难过。如果对方的铁已经指向你的青铜盔甲,那么谈论轰炸数据中心,或者限制从太空运来的超高级碳钢,都是没抓住重点。模型是一种阶跃式的变化,就是人们过去抱怨始终没有到来的那种会飞的汽车式的断层。这并不意味着所有人都注定完蛋,但确实意味着成本曲线已经移动了。

在这个行业里,很难真切地感受到威胁的范围。一家财富 500 强公司可以让前门开一年,没人走进来,高管们就会断定,黑客是编出来的。一家无名公司被碾压,又会得出结论:野蛮人已经兵临城下。新的地方在于监督:现在一个人就能监督一千个人。你不再需要一屋子的坏蛋去试图入侵老太太的电脑。一个坏蛋加一个 for 循环,就足够了。

05

开放社会把柔软的腹部亮给了互联网

Gil 问,国家行为体以及对实体基础设施的攻击,是否应该改变西方在大语言模型上的投资方式。Noon 为整个领域所做的道德论证,一点也不浪漫:网络安全是所有其他计算创新的废热。效用推动采用,安全从来不是推动力。欢迎来到地球。这个行业就是清理队。世界会先接受新能力,之后才注意到它把民主搞乱了。

他并不需要用“原子弹”式的夸张说法。智能如今成了可以拿来搞军备竞赛的商品,这是一场红皇后式的竞赛,类似核武竞赛,只不过这次竞相争夺的是智能本身。Gil 指出,OpenAI 最初的前提,是形成一股制衡力量,防止谷歌和其他少数几家公司垄断这种能力。Noon 接着说,西方尤其暴露在风险之中。开放社会把一切都公开摆出来,交给私营部门运营,早早采用每一种数字技术,并乐于把柔软的腹部暴露在互联网上。极权国家可以强制使用某个 Linux 发行版、封锁社交媒体,让“要是我被钓鱼了怎么办”这种问题根本不存在,因为那里的银行账户本来就不是这样运作的。如果你能锁住信息,你就能锁住攻击面,包括选举。

让他始终想不通的是:网络空间在美国是一个正式的军事司令部,William Gibson 见了大概会感到骄傲,然而在那个空间里,一个普通美国人基本上是孤立无援的。军队守卫的是实体边界;没有人守卫你的收件箱。他认为国防部在进攻性工作上做得很出色,而威慑往往也确实有效;至于斯诺登事件,他不在其中表态。不过就大语言模型而言,每个人仍在摸索发生了什么。DARPA 有一些有趣的项目,但大多数人是通过《纽约时报》对 ChatGPT 的报道,或者六个月前的一次免费版对话来看这项技术的。人们最担心的,是最基本的零阶问题:确保它不胡编乱造。人们还没有意识到,计算机的思考方式比以往任何时候都要显著。Guo 补充说,卖铲子的生意被过度炒作,而关于十年后社会的认真讨论却被低估了。

06

在位者收割初创公司而不是播种,平台也可以偷懒

Gil 问,当安全领域的老牌公司如此擅长收购、捆绑和交叉销售时,初创公司还有没有空间。Noon 说,空间总是有的,然后给出了一个愤世嫉俗的版本。Material 内部的必读材料,是 Ian Grigg 的论文《银弹市场》(The Market for Silver Bullets);不过他从来没有真的强制执行过。买家、卖家和攻击者共享着同一个市场,而买家无法确定产品是否真能救自己。业内的一句老话是:每一款网络安全产品,本质上都是一份复杂的保险单。这种模糊性催生了惊人的分销机器:思科、Palo Alto Networks,以及在一定程度上的微软和谷歌,都有庞大的销售团队、捆绑套餐和炫目的大会。

他们的产品经理如果诚实,对攻击者五年后会怎么做,也并不比别人更清楚。那为什么要自己播种,而不是把已经在生长的庄稼收过来,移栽到自家院子里,再用销售人员和市场力量去浇灌?思科刚收购了 Splunk,而 Splunk 自己也在收购;整个市场都是这样运转的。Noon 曾写过一篇愤怒的博客,把这种现象称为网络安全产业综合体:披着创新者外衣的私募股权公司。创造性破坏依然在发生,一些最好的安全公司是十年前还不存在的;但很多顶级风险投资人跳过了这个赛道,因为典型的结局是被 Palo Alto 以 2 亿美元收购。断层仍然会催生新公司。整类产品如今既必不可少,又已经过时。大量预算仍然花在输出日志、解析二十年前的防火墙格式以及汇总告警上,而这些工作正是大语言模型能够吞下的。大量支出都等着被重新争夺。

关于到底是谁在真正采用模型,他看到三个层面。成长型公司,尤其是创始人是技术宅的公司,立刻就整合了进去。较年轻的上市公司,仍然是较晚才推出功能较弱的版本,那类产品主打的是随便往框里打字、错别字也无所谓。《财富》500 强则在做一些科学实验项目,他猜这些项目对 OpenAI 的收入非常有帮助。微软有自上而下的强制要求,给所有人定了一年期限,还投入了大量营销;但他自己并没有用过那个结果。合作关系依然重要,因为客户既讨厌买一堆单点工具,也讨厌那种烂透了的大套餐。供应商应该成熟一点,彼此互通。Gil 举了 Material 与 Slack 合作、围绕 Office 365 和 Google Workspace 展开的工作,作为这一模式的例子。

被问到这七年间有什么变化,Noon 的语气几乎有些消沉:人们仍然在发邮件,仍然在回短信,而像 Slack 这样的围墙花园,也只是同一条链条上的又一个环节。移动端是最令人惋惜的例子。苹果把设备锁得太死,以至于厂商能做的事情很少,然后又对剩下的问题置之不理。科技更擅长把人挡在自己的地盘之外,而不是善用这块地盘。云的集中化是另一个未完成的故事。他作为投资人最大的失误,是假设 AWS 会把安全功能捆绑掉。他曾对 Snowflake 的 B 轮做过尽职调查,并告诉问他意见的人不要投,因为 Redshift 已经存在,而 AWS 并没有睡着。后来 AWS 告诉他,无论如何它们都能赚钱:租户并不拥有任何 CPU,所以平台完全可以偷懒。这中间的空档,正是生意所在。

07

做出人人都该买的东西,然后先把饭嚼碎

做安全以及更广泛企业软件的创始人,总是问 Noon 该做什么。他那种又爱又恨的建议是:别再围着一个平庸的产品死磕滩头阵地了,那个产品之所以好卖,只是因为这个赛道模糊不清。退一步,做一件极其有用、人人都该买的东西。别再把 CASB、UEBA、SIEM 和 NDR 一一映射到投资银行式的四象限图上了。消费者圈子早就在拿企业级架构图开玩笑了;网络安全的图更是可笑。如果它对接的是每个人都在用的 API,能省下大量时间,而且更容易上手,那就做这个。在你开始给 Gartner 付钱之前,大约还有五年时间。市场(market)不等于营销(marketing)。

基础的东西仍然放在第一位。先组好团队。做单人创始人完全没问题,远比“我们喝了三次咖啡,然后就结婚了”要好。一切都建立在团队之上;最悲惨的失败,是一家漂亮的公司,地基上有裂缝,最后不得不拆掉重建。要先对齐风险偏好。他注意到,硅谷又一次变得非理性地亢奋。免费资金结束之后的那六个月低迷期太短了;他希望它能持续一年,那些“好时光”梗图也就一并告别了。如果你做的是 AI,现在又回到了零利率(ZIRP)时代。

选一个好市场:钱要多,而且有很多能力较弱、可以从中拿钱的人。创业的难度,与市场规模是反比的;能走简单路线,就尽量走简单路线。Guo 说,她给 AI 创始人的建议也是这一条:在早期行业里,做简单、快速的工作,把难题留到市场成熟之后。Noon 的另一个心头之恨,是没有真正技术人员的创始团队。放任 MBA 们自己发挥,他们会做出 Casper 式的床垫产品,只不过换成了床垫保护垫,外加剃须刀。最好的公司里,即使技术人员不在 CEO 的位置上,也总有一位。然而,技术人员往往扎堆在招聘、DevOps 和又一款监控工具上。至少走出家门,哪怕只是在 Zoom 上,也去了解一个不是你自己的市场。世界需要这种创造力,但排列组合总会再造出一个“做 AI 的 Datadog,只是做移动测试”。要先问问,真实的市场到底有多大。

同频道的其他文章

39:23EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月15日播客 · 2 人对谈防守方的窗口期:Greg Brockman 谈 AI 生成知识、药物研发与网络安全的新规律主持 Sarah Guo, Elad GilOpenAI 总裁解释了为什么攻克未解的数学难题,是科学领域的有力证据,主动式智能体(Agent)如何改变产品形态,以及为什么安全支出必须超过软件支出。安全AI security安全与治理+3
1:09:44EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月9日播客 · 2 人对谈1 万块 GB300 跑四周:Reflection 的开源模型账本主持 Sarah Guo, Elad GilMisha Laskin 在 No Priors 节目中讲述 Reflection 如何训练 Beam、为什么强化学习的投入超过了预训练,以及为什么西方需要自己的开源权重。开源与社区Open-weight modelsReinforcement Learning+3
35:39EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月2日播客 · 2 人对谈算力涨了百万倍,带宽只涨 40 倍,Fractile 想修正这个比例主持 Sarah Guo, Elad Gil2022 年夏天,Walter Goodwin 在伦敦创办 Fractile,目标是为全球最大的模型打造速度极快的推理(inference)芯片。基础设施与部署InferenceAI cost & performance+3
42:44EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年9月24日播客 · 2 人对谈他们花 77 亿美元买下一家经纪公司,计划每年只做一笔交易主持 Sarah Guo, Elad GilSequence Holdings 联合创始人 Michael Lee 向 No Priors 解释,真正用 AI 改造老牌企业的办法,是拥有一家市场领导者,而不是把软件卖给它。企业与战略企业 AIAI Strategy+3
38:14EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年9月18日播客 · 2 人对谈扩散模型将赢得推理之战:Stefano Ermon 押注并行生成的 Token 能胜过定制芯片主持 Sarah Guo, Elad Gil斯坦福大学扩散模型先驱在《No Priors》节目中说,一家 50 人的实验室正在训练一次能生成多个 Token 的语言模型,并解释这种模型与 GPU 的适配,就像当年 Transformer 与训练的适配一样。模型与训练InferenceAI cost & performance+3
45:10EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年9月10日播客 · 2 人对谈76% 的代理商务交易不到 30 美分,于是 Coinbase 要为 AI 开户主持 Sarah Guo, Elad GilBrian Armstrong 与 Elad Gil 的对话,讲的是 Coinbase 如何变成“万物交易所(everything exchange)”,为什么卡组织无法为智能体之间的支付定价,以及他的长寿公司正把什么带进临床。智能体Agentic commerce金融 AI+3