从深度伪造到 DNA：SynthID 如何给 AI 加水印

Hannah Fry 欢迎听众回到 Google DeepMind 播客，请他们想象刷社交媒体的画面：火山喷发的慢镜头、龙卷风撕开一座村子、广场上的抗议。她说，很多人现在都会问同一个问题。这是真的吗？是人做的，还是机器做的？

AI 生成文本、图像、音频和视频越来越拿手，这个问题已经成了眼下的难题之一。她接着把问题再推深一层。我们正在进入一个世界：AI 能设计自然界从未有过的生物分子和结构，其中有些可以设计来造成伤害。危险的东西造出来之前，你怎么拦住它？

她说，答案也许已经在你正在看的东西里，或者在你即将合成的分子里：水印。不是图库照片上那种块状 logo，而是某种数学的、细得多的东西。两位从不同角度做这件事的人，坐到了她对面。

Pushmeet Kohli 是 Google DeepMind 的科学副总裁，也是 SynthID 的设计者之一。整个行业正在采用这套水印系统。Jeremy Ratcliffe 是生物安全研究者，他所在的团队把同一项技术用到了生物学上。Hannah 先问 Jeremy：给 AI 吐出来的所有东西加水印听起来不错，可它到底帮了什么忙？

Jeremy 说，生物学这边的动机是来源。你想知道一段序列从哪来，尤其是要把自然界已有的序列，和 AI 系统做出来的序列分开。让他担心的风险是：一段 AI 生成的序列，带着我们已经知道成问题的性质，哪怕你从字母本身读不出这些性质。

Hannah 问，好的水印要具备什么。人们听到这个词，会想到钞票或护照。有没有规则？Jeremy 给他们这项工作列了几条：人眼难辨，这样就很难看出数据的哪一部分被标过——否则很容易擦掉；高可检测性，系统能有把握地找到水印；还有可推广性，免得每一种数据类型都要发明一套专用方法。

Hannah 问 Pushmeet，这些是否也适用于生物学之外。他说 DeepMind 将近八年前就开始做水印项目，好让用户对眼前的东西有一点来源感。十年前很难想象，系统能做出和人拍的、自然界有的无法区分的图像、视频、音频、文本，以及蛋白质或酶。用户需要一种办法，去相信自己正在看的东西。

他说，水印需要三条性质。不能降低质量，否则没人用，意义也就没了。要扛得住攻击和变换：有人想去掉它，哪怕改过信号，它也该还在。还要好用——容易放进信号里，事后也容易检测。看不见、扛得住、能规模化，这三条是他们设计每一套系统时都围绕的，好让用户对自己看见、使用或设计的东西有更多掌控。

Hannah 说，尽管生成式 AI 已经公开好几年了，水印这个夏天才成了大话题。为什么普及花了这么久？Pushmeet 回溯到图像编辑软件。那些工具越来越精巧，人们开始担心一张照片是真的还是被改过，专门的系统学会了捕捉假货留下的细微差别。

生成式 AI 变好之后，那些细微差别消失了。于是出现了一个更难看的问题：这盘棋下完了吗？人还会不会分得出一样东西是不是 AI 生成的？他说，水印就是在这个节点上进来的。

Pushmeet 说，要让人始终能弄清一段信号的来源，办法是往里面注入一个信号——一种不会消失的偏向。就算模型已经完美，做出的图和相机拍的、写出的文字和人写的无法区分，你也特意放进看不见的痕迹，好让用户事后能检出它来自 AI 模型。

Hannah 确认，他说的“我们”就是字面意义上的 DeepMind：找到可规模化方案的就是他们。他说是的。团队做这件事将近八年。他们从图像起步，因为假新闻和虚假信息。考虑到稳健性、不可见、效率和规模化，这个问题仍然极难，但一张图就是大量数据。一百万像素的图大约是一百万个数，按编码方式也可能是大约三百万——有很大的空间可以藏信息，同时不改内容。

他们先做了图像水印。接着必须面对那些没有那么高维的模态。一句话不是一百万个数，只是几个词，随便改词就会改意思。所以他们为文本开发的方法，和图像、视频甚至音频的方法相当不同。

Hannah 指出，他们开创的这个想法已经写进法律：欧盟的生成内容必须带某种形式的水印。Pushmeet 说，监管机构和政府希望用户知道自己消费的东西从哪来，水印被看作一种能规模化的稳健技术。这就是整个行业接过这个想法的原因。Nvidia 以及包括 OpenAI 在内的合作方已经在用 SynthID。他说，这么多生成式 AI 实验室都采用了它，这很了不起。

Hannah 铺开这一集剩下的内容：两个应用，一边是媒体，另一边是生物结构和序列。两边的方案相似吗？Jeremy 说，驱使他们的原则是相近的。他的团队能沿用大量已有工作，包括开源的 SynthID 文本库，直接嵌进另一套系统。不只是同样的手法：有时就是同一份代码，上面再做适配。

Hannah 想把工作原理走一遍，因为这听起来几乎像魔法：一句话带着水印，不是空白或古怪的逗号，而是词语如何被生成的记录，就坐在词语本身里。她建议从文本这个最容易的例子开始。不过在此之前，她先问已经上线、声称能告诉你一段文字是不是 AI 生成的软件。那有什么不同？

Pushmeet 说，传统做法是训练一个机器学习分类器，用大量数据去区分模型输出和自然界。早期的对话模型是有破绽的。Hannah 补了一个：它们过度使用“这不是 X，而是 Y”这类句式，还有 quietly 这个词。他同意。模型越来越精巧，这些破绽就越来越少，所以生成器越拿手，分类器的准确率就越往下掉。

他们一步步走水印的过程，从大语言模型怎么选下一个词开始。Pushmeet 说，给文本加水印时，token 是从可能的下一个词的分布里采样出来的。他问 Hannah 早餐吃了什么。她可以从“我”起头，也可以先叫他“Pushmeet”。如果两种开头都说得通，她就有选择空间。文本水印用的就是这种选择空间，由一把密钥来引导。

Hannah 复述了一遍：后台有一把密钥说，偏向这些词、不要那些词。事后你看一段文字，一遍遍看到这些模式，就可以有把握说这是 AI 生成的。Pushmeet 澄清，并不是某些具体的词必须反复出现。检测器看的是它们如何一起出现、一起变化——是变化的模式，不是一份禁用词表。

Pushmeet 说，有了密钥，你声称的就不只是这段文字由 AI 生成。如果不同模型用不同的密钥，你还能核对是哪个模型：这是 Gemini，那是另一家实验室。Hannah 立刻抓住这个前提。你必须有密钥才能做到。没有密钥，模式就是看不见的。

Hannah 问了那个显而易见的下文。如果可选的词只剩几个，这个手法就用不上。是不是有些文本加不上水印？Pushmeet 说是的。像“法国的首都是哪？”／“是巴黎”这样的短问答，几乎没有可改的余地，所以不会加水印。这是这种方法的局限。

这是不是意味着学生再也不能用 AI 写作文了？我们能检出任何 AI 生成的东西吗？Pushmeet 说，整个生态正在走向水印，其他实验室的公告也能看出来，但这并不等于他们都会把检测器公开。而公开的检测器本身就会让人去学着绕过它，分类器当年就是这样给人钻了空子。如果你能一遍遍查询公开检测器，也许就能反推出能躲开那套特定密钥配置的东西。

Hannah 接过这个含义：目前还没有一种板上钉钉、能检出任意 AI 生成物的办法。这是朝那个方向迈出的一大步，不是成品。Pushmeet 同意，至少在你为每一版密钥都公开发布检测系统的情况下，做不到。

她指出，图像和视频里能藏东西的空间大得多。Pushmeet 说，方法和文本不同。你从一张未加水印的图开始。一个神经网络看着它，用非常细微的方式改它，把信号加进去。这个水印模型和一个检测网络共同训练。它们要做的是同一件事：拿一张未加水印的图，注入非常小、看不见的信号——用户要是看得见，质量就已经下降了——事后仍能把它找回来。

中间坐着一个对抗代理，专门试着毁掉水印。它可能缩小图像、放大、裁切、旋转、加噪声，再跑别的变换。检测器仍然必须说出原图有没有加水印。两个网络一起训练，好让中间的对手无论做了什么，水印都还能被检出。

Hannah 问这对用户意味着什么。Pushmeet 说，这不只是文本的事。SynthID 上线之后这些年，他打开新闻网站，会看到记者写：一张在加州山火里神奇完好无损的房子的流传图片，或者一张伊朗战争的图片，经过 SynthID 检测，标成了 AI 生成。

他说，突然之间，你能在绝对不该出现 AI 的地方看见 AI。Hannah 接过这个含义：SynthID 正在被用来对付虚假信息，实时、规模化，不是实验室演示，而是新闻编辑室能真正拿去跑已经在流传的图像。

谁都能做他刚才描述的事吗——拿一张图、一段文字、一段视频，丢进 SynthID，查是不是 AI 模型生成的？他说，检测已经嵌在 Gemini 应用里。你可以把一张图给 Gemini 看，问它是不是生成的；它可以跑 SynthID 检测器，然后说是的，这来自 Google 的图像模型。采用了这些模型的其他公司，现在也有类似的能力。

Hannah 问，是不是每个模型只能检出自己的输出。Gemini 只能抓住 Gemini 吗？Pushmeet 说，注入水印的人必须同意共享密钥。共享了，你才能检出。可以有一个中心服务：你去 SynthID 门户，问某样东西是不是 AI 生成的，它会查看合作机构交给他们的所有密钥。如果某家实验室不愿共享密钥，你就看不到那家实验室的内容。

Hannah 转到生物学。Jeremy 的团队有一个叫 SynthID Bio 的概念验证，给 AI 生成的蛋白质序列和三维生物分子结构加水印，而不是文本和视频。他把即将发表的工作拆成两块。SynthID Bio Structure 给给定序列所预测的蛋白质结构加水印，建立在 AlphaFold 3 之上。SynthID Bio Sequence 则把水印引入氨基酸串本身。

Hannah 指出，折叠结构就是一串氨基酸，听起来像同一份数据的两个版本。Jeremy 说，嵌入水印的方式很不一样。结构这边改的是单个原子的位置：距离或角度稍有不同。序列这边改的是选哪个氨基酸。结构保留同样的原子，只是构型稍有不同。序列真正改了内容，但不一定改这些内容的功能含义。

为什么要做这件事？一个用途是来源：检测发往 DNA 合成公司的订单是不是来自 AI 系统。Hannah 说，不是生物学背景的人常常意识不到，你可以把一段序列寄出去，让人把它「打印」出来。担心的是骗这些公司打印危险的东西。Jeremy 同意这是顾虑之一。已经有大量行业组织和学者在让筛查更稳健，他的团队想贡献一份。

首要的恐惧是：有人拿到一段 DNA，能在实验室里做出我们不希望他们做的东西，或者绕过监管——比如一种已经灭绝的大流行流感，他干巴巴地称之为总的来说不太妙。如果合成公司能检出某样东西是 AI 生成的，那就多了一道关。水印告诉你，它来自一套内置了安全护栏的系统，而不是另一个模型，也不是自然界的东西。

Hannah 问这些公司现在已经在做什么。Jeremy 说，主要是核验身份：你是学者，这是你的大学隶属关系，你就是你声称的那个人，地址是实验室，不是地下室里某个随便的人。然后他们用几套算法，把订单和已知危险物数据库对照。对上了，就拦截订单，或者回头问动机和许可。

其他学者已经表明，AI 系统带来的风险是：你可以在序列空间里做出和病原体数据库里任何东西都差很远的东西，它却可能折叠成那个令人担心的东西。氨基酸串看起来无辜。一旦变成蛋白质，就可能有害，行为和限制名单上的某样东西一样。现有系统抓不到它。模型越来越好，你在序列上可以离得更远——带子上看起来怪得很，却仍能折叠成危害——从而从检测底下溜过去。

你也可以剪切粘贴。如果订单的某一段会被拦住，你就把一段令人担心、却离限制数据库很远的东西拼进去，再到实验室里把它放回原来该在的位置。Hannah 复述水印的意义：并不是你能检出任何潜在有害的东西。至少你可以说这是 AI 生成的——要小心，因为它可能看起来不像名单上已有的任何东西——以及它来自哪套系统。如果你出于水印之外的理由信任那套 AI 系统，你就能对它是怎么做出来的有一点把握。

她问水印是怎么进入蛋白质设计流程的，和文本、图像那边类似。Jeremy 说，有点碰巧，ProteinMPNN——一个从结构到序列的模型——工作方式和 transformer 模型生成文本相当类似。它是第三方工具，不是 Google 开发的，已经在外面用了好几年。它几乎是 AlphaFold 的反面：不是从序列到结构，而是从结构到序列。

这一步在设计流程里很要紧。你常常按自己希望事物在三维空间里如何相互作用来选定目标，然后这个模型预测一段会折叠成那种构型的序列。Hannah 强调这个类比：复杂的折叠是由一条氨基酸带子搭起来的，一条串，像一串文字。折叠蛋白质时，有些位置可以换成性质相近的氨基酸，比如亮氨酸和异亮氨酸。SynthID Bio Sequence 就是通过这些选择引入水印，目标是保住结构，因而也保住功能。

Hannah 打断他。他说可以换、而且没关系。你有把握吗？Jeremy 说，这正是他们专门测试的。这项研究的整个想法，就是注入水印，同时保住他们当初设计要的功能。

Pushmeet 插进来：酷的是，加水印的蛋白质现在已经存在了。这些是真东西，不是模拟。它们能做事，带着水印，而且永远都能检出。重要的是，他们自己的实验室实验表明，功能完全没有改变。他们做了蛋白质结合物——那些会黏上去的东西——并在实验室里测过。Jeremy 确认，他们是实实在在做出来的。

从结合物上能测到的，包括命中率——有多少设计真正结合上了——以及结合得有多好。两套不同方案加水印的，和没有加水印的结合物比，命中率几乎一样，定量结合也几乎一样。Hannah 说，你会以为总会丢掉一点点。Jeremy 承认，湿实验室数据出来之前，他有点怀疑。容易到让他们自己都惊了。在生物学里把这件事证出来，让他们所有人都有点意外。

Hannah 说，这仍是概念验证，证明它能用。想法是不是最终任何实验室都能读他们的水印？Jeremy 甚至不愿把它说成“我们的”水印。这是别人也能用的技术。生成新蛋白质的模型开发者，必须把水印集成进自己的方案；因为代码正在开源，他们不必和 DeepMind 协调就能做。合成这边，密钥和其他细节必须在模型提供方和 DNA 公司之间交换。这是另外的协调问题。

他说，DeepMind 这边仍有工程余量，可以把水印做得更好检、嵌入也稍容易一些。这种社区工作，才会让所有参与方都更容易采用。Hannah 问，和文本那边一样，检测是通用的，还是针对一把密钥？如果有人拿公开实现，再共享密钥加上上下文长度——前面多少上下文对水印有影响——你就能检出任何这类系统的输出。

这已经在外面跑起来了吗？Jeremy 说，就这篇发表而言，他们有概念验证，并将开源让人能加水印的技术。这和给 Google 自己的媒体模型加水印稍有不同，因为 DeepMind 并不运营内部的蛋白质设计服务。他们已经开始和模型开发这边、合成筛查这边的人谈话，希望促成一场关于真正落地的讨论。人们并不是向他们订蛋白质，所以他们不该独自定标准；他们可以成为已有服务的催化剂。

Hannah 问真正「打印」蛋白质的人反应如何。Jeremy 说自己天性就爱怀疑。他们全都非常兴奋，也许比团队预期的还多，这在他们迈向现实世界的最后几步里很提气。至少对兴趣的量，他是看好的。

Pushmeet 补充，生物圈让他觉得了不起的一点，是他们不只看见今天的威胁，也看见明天的。他们非常愿意听，因为他们每天都看见这个挑战：能做出蛋白质的基因合成订单、拦住问题订单的过滤器，以及这些过滤器并不完美这一事实。他们想和这个领域一起做出真正管用的方案。他说，生物韧性会越来越占据人们的心思。

Hannah 问他们在这个领域还在做什么。Jeremy 提到大约两个月前的一份备忘录，写的是 Google DeepMind 以及 Isomorphic Labs 对生物韧性的设想。它对应着扎根于英国生物安全战略的几根柱子上的努力：预防、检测、响应。总的来说，他们在看如何用 AI 降低生物风险，既包括自然威胁，也包括 AI 增强的威胁。SynthID Bio 是一个例子，针对 AI 设计的序列，以及这对病原体检测意味着什么。其他概念更多落在自然威胁那一侧，有些则横跨两边。

他说，他们的变革理论是：如果你让生物学对想做坏事的人变得不那么好用，就能从一开始拦住他们去用。让公共卫生系统更稳健、或者让流行病学家更容易识别疫情的新工具，本身就能让疫情更不容易发生。Hannah：你要的是好的那一面、那些好处，不要潜在的坏处。Jeremy：正是如此。

Pushmeet 说，AI 将对人类健康、以及对我们理解整个生物学，产生巨大的正面影响。这已经在发生：Isomorphic Labs 和许多其他公司正用 AI 做药物发现和健康。与此同时也会有成问题的用法，我们需要能加上的所有控制，好让那些任务变得困难或不可行。

Hannah 回到数字媒体。格局相当碎片化。我们会不会走到一个中心位置，直接告诉你某样东西是不是 AI 生成的？Pushmeet 认为这个领域正在往那边走。行业已经对齐：需要来源方案。各公司同意，有编辑或生成式 AI 时，这些信息应当和文件放在一起。

他说，问题在于元数据可以剥掉，所以你需要强绑定，而水印提供的就是这个。把这些方法合在一起，再做出一套对社区里每个人都管用的系统，他认为就能走到一项标准。进展正在发生，只是需要时间。

生物学也是同一个问题：目标是不是人人都用的行业标准？Jeremy 说，他们甚至在讨论里写到仍有工程余量，包括如何计算 G 值、如何引入水印。不过在表层，他们相信嵌在序列本身里、肉眼看不见的水印，很可能是识别 AI 生成序列来源的最好办法之一。

Hannah 想到猫鼠游戏。一套系统越通用，规则越清楚，也许就越容易被人拆掉。Pushmeet 说这确实是风险，所以密钥才要紧，无论你嵌在蛋白质序列里还是图像里。理想是水印难到这个程度：你想去掉检测信号，就得改功能——毁掉你当初设计这件东西所要的能力。嵌得那么深，没有办法拆掉。

Hannah 说，这不一定是最终做法。还早。可是一个生物对象能在那个层级写下自己从哪来的故事，这件事相当惊人。Jeremy：他们不是第一个做水印的，但据他们所知，他们是第一个同时证明看不见、又保住功能的，包括体外、带实验室结果。Hannah 说太惊人了，感谢两位，他们也感谢她。

收尾时，Hannah 说，护栏、安全这类词在 AI 里扔来扔去很多。而这件事，她说，是实验室说到做到的具体证据。他们远在大多数其他实验室开始想这件事之前，就开创了给 AI 生成内容加水印，证明了它能规模化、不会伤到质量或速度，而这些想法现在已经写进监管。他们没有歇着，已经在看下一波威胁，想帮忙建成一个能驾驭这项技术、又不给伤害留空间的世界——而且是在威胁完全成形之前。

原来，未来会带着一份真伪证明一起来。她以 Google DeepMind 播客的 Hannah Fry 教授身份道别，告诉听众这一系列还有很多内容，请他们先去看看其他几集。