准确率从 93% 跌到 7%：密码学想给 AI 装上行车记录仪

Nathan Labenz 已经找了好几个月，想找一个既懂机器学习又懂现代密码学的人。Daniel Kang 是伊利诺伊大学的计算机科学助理教授，正是这样的人：他一直在把零知识证明引入 AI 推理，让服务商能证明自己运行的确实是承诺的模型，让一个人能证明自己是真人，而无需交出输入内容。这期节目始终围绕密码学，而不谈代币。Labenz 开玩笑说，他们不会推出任何币种。

Kang 的长期担忧很简单。随着生成模型越来越好，证明你是人类，目前就意味着要暴露更多自己。他听说，约会应用是那些“给你的脸拍照以确认你是真人”的服务最大的客户之一。这些服务会把生物识别数据上传到服务器。这既是隐私问题，也是监控问题；在没有密码学的情况下，他看不到绕开它的办法。

Labenz 又提到了 Worldcoin，这个项目用银色球形设备扫描虹膜，试图给每个人发放唯一的 ID。自从 This Person Does Not Exist 上线以后，一张方形的正面照已经不够用了，于是检查方式不断升级，要求提供越来越敏感的数据。Kang 想走相反的路：在不交出敏感输入的前提下证明真实性。他说，密码学“给了我们一把锤子，让我们能绕过隐私与真实性之间的这一根本权衡”。

另一个动机是 Labenz 开始称之为的“模型欺诈”。OpenAI 会在你不知情、也没有质量保证的情况下更换为你提供服务的模型，包括你付费使用的那些。斯坦福和伯克利的研究人员长期测量 ChatGPT，发现它有明显下降：在某项任务上，准确率从大约 93% 降到约 7%。Kang 说，作为客户，你没有任何追索的办法，因为你根本不知道 OpenAI 在运行什么。

能证明一个人是真人的同一种密码学，也能证明服务商运行的是某个特定模型，包括一个月前正在运行的那个模型。Labenz 补充了一条实践者的注脚：如果你信任 OpenAI，它现在会给权重打上时间戳并冻结，并留出一段窗口，让开发者在升级前重新验证。如果你不信任它，这个方案就毫无作用。很多新兴服务商既没有这种冻结机制，也没有相应的声誉，这反而让它们更有理由换成更便宜的模型。

医疗方面的情况更加黑暗。一个恶意攻击者，哪怕是国家级行为体，也可以控制癌症筛查模型，把输出翻转到任一方向：告诉一位患病的病人“你没事”，从而延误治疗；或者告诉一位健康的人“你得了癌症”，把有害的治疗推给他。如今，没有办法判断一个预测究竟来自那个已获得 FDA 认证的模型。Kang 想要的是一份能把服务商绑定到那个特定模型上的证明。

广告时段之后，Kang 讲到了 Labenz 一直在绕着打转的那个性质。零知识证明让你能证明一个过程是忠实运行的，同时不暴露它的输入。对推理来说，输入指的是服务商不愿分享的权重，以及用户可能不想分享的提示词。最关键的，不只是计算确实跑过，还在于它迫使证明方坚持这一计算。如果约定的是模型 A，他们就不能悄悄运行模型 B 再把结果冒充成 A。

Kang 的工作类比，是一块能证明自己运行了特定模型的 GPU。你仍然需要指定架构和权重（他的系统目前接受 TensorFlow 的变体，以及 PyTorch 导出的一种格式），再加上输入，然后把这个打包好的东西交给证明方，代替一块芯片。从双方的角度看，它都被设计成像黑箱一样使用：服务商生成一份证明，说明它在这个输入上运行了这个模型；接收方则验证这一说法。每个输入都需要一份新的证明。

协议有先后顺序。首先，服务商公布架构和权重的哈希，即一份客户可以视为不可更改的预先承诺。然后，客户调用模型，服务商执行计算并生成证明，客户再核对预先承诺与证明。Kang 说，承诺是最容易的一环：密码学哈希是一个你假定很难被反推的函数。这正是比特币和数十亿美元价值所依赖的基础。目前并没有严格的数学证明说明这些函数不可破解，但几十年的实践还没有出现破解案例。

难点在于熵。密码破解之所以可行，是因为常见密码的熵几乎为零；“password”（密码）就是一个高概率的猜测。给输入加上随机比特（即加盐），哈希就难以被逆向推算。模型权重的熵也可能很低，所以 Kang 用同样的方式给它们加盐：附加随机比特，再做哈希，承诺看起来就像随机数。有些哈希族被认为是抗量子的。这仍是一个假设，只不过行业已经押了真金白银。

具体使用的工具是 ZK-SNARK，一种能够证明任意计算被正确执行的零知识证明。Kang 证明的函数分为两部分：对加盐后的权重做哈希并公开该哈希值，然后在给定输入上运行模型架构并公开输出。因为哈希是在证明内部计算的，服务商无法替换权重。架构被固定在函数中，加盐哈希固定了权重，而公开的输入则固定了提示词。

Labenz 原以为“算术化”是对前向传播的一种算术近似，之所以需要它，是因为模型把矩阵乘法与 ReLU、tanh 之类的非线性函数混在一起。Kang 说，这个名字是历史遗留的：证明过去是用算术电路构建的，所以你要把类似 Python 的函数翻译成证明器能够吸收的格式。对机器学习而言，就是把架构和权重转换成这种格式。在这一步没有任何近似，它是一一对应的精确映射。

非线性部分会变成查找表（lookup table），在量化精度下被穷举预计算，就像过去的对数表那样。运行这个制品，得到的输出与量化后的模型完全相同。Labenz 原本以为查找表的规模可能有 10^8 条。Kang 说，量化之后，规模更接近 2^15，也就是几十万到几百万种可能的输入。量化本身并不是有效性的前提：系统也能证明完整的浮点运算，只是会慢得多。OpenAI、谷歌，以及（据马斯克说）特斯拉的汽车，如今都在提供量化模型。

Kang 知道的几乎所有证明系统都依赖一个关于多项式的事实：只要增加变量的数量，就能表示任意计算。Labenz 想到的是泰勒级数。Kang 更喜欢一种归约的说法。NAND 和 NOR 门是通用的；多元多项式可以通过变量的乘法与加法来编码这些门；因此，多项式可以编码任意计算。计算随后在有限域上进行：也就是从零到某个很大数字、并且会循环回绕的整数，支持加、减、乘运算。

这个有用的性质是：两个不同的多项式，在一个随机的域元素上求值，几乎永远不会相等。哪怕只差一个系数，取值也会完全不同。因此，证明方可以对某个多项式做承诺，验证方则只需在一个随机点上检查相等，而不必逐个核对系数。在这类可行的构造中，秘密是一个随机的大素数，密码学家称之为“有毒废料”（toxic waste），因为没有人能够逆推出它。这种不可逆性正是基于素数的方案的要点。

Labenz 曾担心，在这条流水线的某个地方，表示形式会不再忠实地代表原始的前向传播。Kang 说，这种复杂性只在量化做得不好时才会出现，而接下来的工作会修复它。可以把结果看作对前向传播的完全忠实表示。证明本身没有隐藏的不确定性。

Labenz 一开始最大的误解，是认为零知识证明是概率性的，计算投入越多，置信度越高。Kang 把技术栈拆开来讲。单个证明是不可伪造的，是一种精确的表示。如果你想在一个 100,000 条样本的测试集上获得 GPT-4 的准确率，给每一行都做证明的成本非常高，于是你只对 100 条、1,000 条或 10,000 条样本要求证明，并把它当作统计估计。证明是地基，抽样是你盖在地基之上的楼层。

论文给出的经验法则是：成本约为普通前向传播的 10,000 倍。每 10,000 次推理只证明一次，计算账单大约翻一番。Labenz 按 GPT-4 的价格计算：每千 Token 几美分，乘以 10,000，大约每次经过验证的调用要 400 美元，接近人工仲裁员的费用量级。Kang 希望未来几个月内能出现把成本降低几个数量级的工作。在那之前，你只会抽样验证，不会逐个 Token 去验。

用户拿到模型输出和一份证明，Kang 把证明描述为计算的一种哈希，用户可以在本地用更多的有限域算术来检查它。检查远比生成证明便宜：证明方要处理整个多项式，验证方只需在一个随机点上对它求值。验证密钥规定了这个多项式的布局。它编码的是架构和哈希，不包括权重。你可以插入自己的权重去运行，但哈希不会匹配，因此你无法生成一份能通过验证的证明。

Kang 的类比是推特开源其推荐算法。你可以读懂 PyTorch 架构，却仍然无法生成推特的时间线，因为你缺少权重和数据。验证密钥就是那套架构加上哈希。只有掌握真实权重的一方，才能生成与承诺相匹配的证明。Labenz 认为，这是本次对谈中最大的更新：两个人可以一对一地完成这件事，不需要平台、声誉系统或监管者，只要愿意承担计算开销。这种方法无法作弊。

Labenz 长期以来认为，智能合约的局限恰恰藏在“智能”这个词里。它们会自动执行，但显式代码处理现实世界纠纷的方式很脆弱，人们仍然希望有一个能够推理的地方。作为 GPT-4 的红队测试者，他尝试过基础的调解，发现模型在这方面相当不错，尤其是当照片、录音等多模态证据可以进入卷宗之后。于是，一线的 AI 纠纷解决开始显得可行。但接下来，当风险很高时，究竟运行的是哪个模型，以及是否有人能审计执行过程，就变得很重要。

Kang 喜欢这个方向，并指出了两个障碍。把 GPT-4 的成本放大 10,000 倍，你就又回到了接近人工仲裁的水平。而且双方还得同意某个具体的模型以及结果，提示词的措辞也会改变结论。合同纠纷充满了人类的复杂性。“我个人认为，律师会是最后一批被自动化取代的人，”他说，因为人们不喜欢由一台随机的机器来决定自己的人生。从技术上讲，他仍然认为成本是主要障碍。

这笔开销能降到多少？Kang 说，即将发布的结果会把某些类型模型的成本降低大约 10 到 100 倍。GPT-3/4 风格的 Transformer 更难，因为计算的布局方式使然，所以在那里节省的幅度较小。密码学和多项式求值的进展都是每隔几周就有一次。他描绘的乐观图景是：在几年之内，开销可能降到大约 100 倍——仍然昂贵，但已经进入了一个可以出现新型低风险保护的区间。

Labenz 举了一个家常的例子：老房子里需要修补的各种墙面。个体工匠很难建立声誉，而预先付款又可能遇到人跑掉的风险。一条大约 10 美元的追索途径就能改变这种局面：用经过认证的相机拍下墙面，双方约定一个模型，让它判断工作是否符合承诺。即使权重是公开的，零知识证明依然有用。智能合约无法廉价地运行标准代码，因此它需要一份证明，证明模型按约定运行；而你大概也不希望自家室内的照片放在公开的链上。

深度伪造则关闭了另一个循环。Kang 说，依靠现有技术，你无法分辨一张图片是真是假。绕开它的办法是可认证的传感器：一台相机在传感器处，就在光变成电信号的那个物理位置，把比特哈希并签名，然后这些比特才会在设备上流向别处。再结合一些时间绑定的技巧，你就能让人相信，某张墙面照片是在特定时刻拍摄的。这也是他对“走到一个虹膜扫描球前，相信某家公司不会卖掉你的虹膜信息”这种做法的替代方案，而据他说，这种事如今显然正在发生。

如果苹果、谷歌和其他手机厂商愿意配合，未来每部智能手机都可能内置经过认证的相机。你拍下自己的脸和驾照，在设备上运行一个模型，只披露一句声明，例如“我是年满 21 岁的美国公民”。双方都可以知道权重；输入则留在持有手机的人手中。消费者保留了自己的生物识别数据。服务提供商从来不存储敏感数据，这也减少了他们自身的泄露责任。

Kang 对日常生活的设想，是 TLS。录制这期节目时使用的是 Riverside，主持人和嘉宾都不会去想浏览器里的那把锁；HTTPS 就是默默运行。如果证明成本下降，高风险的推理也应当同样无感：一台 X 光机或 CT 扫描仪在设备端签名，医疗模型附上一份证明，之后出现争议时就能进行审计。硬件厂商仍然需要出货带签名功能的硬件。运行时的成本不必落到用户身上：你可以绕过签名通道，正常拍一张照片。苹果已经在每台 iPhone 上内置了安全隔区，只是没有以开发者可以访问的方式接入摄像头。Kang 估计，这项增量制造成本是 1 到 10 美元。他希望与正在推动相关强制性规定的人聊聊。

Labenz 指出，如今大多数照片都来自少数几家手机厂商，这是一个比 GPU 遥测更尖锐的咽喉点。Kang 剩下的预告是研究：未来几个月的论文会大幅降低某些模型的成本，并给出一种以非常特定的方式审计机器学习模型的方法。在证明变得便宜之前，实际可行的做法都在密码学之前：在代码中固定模型版本，询问供应商将如何证明他们运行的是什么，并且不要把赌注押在事后的 AI 内容检测器上。Kang 愿意为之辩护的路径，是来源签名，以及来自原始设备的原始文件。