三条不可能同时成立的公平规则

2019 年，宾夕法尼亚大学教授 Michael Kearns 与合著者 Aaron Roth 出版了《伦理算法》。这本书围绕一个比“机器人会不会统治世界”更迫在眉睫的结论展开：三条各自看起来站得住脚的公平性要求，不可能同时成立。任何想给放贷模型、量刑模型或招聘模型加上公平性约束的人，都会撞上这个问题。

Kearns 自己的经历也是这套论证的一部分。他告诉 Lex Fridman，他最喜欢的小说是 David Foster Wallace 的《Infinite Jest》。他说，高中时迷过一阵子 gonzo 式报道，大学一开始读的是英语专业，后来才发现，英语专业能教你读，却教不了你写。于是他转去读数学和计算机科学，在哈佛跟随 Les Valiant 读完博士，之后的研究横跨学习理论、博弈论、算法交易和计算社会科学。他还和费城联邦储备银行合办过一次研讨会。他另有一个舅舅是道德哲学家。这最后一点会反复出现，因为它划出了 Kearns 心目中算法能够定夺什么的边界。

在技术工作的早期，Kearns 给那位舅舅发了一封邮件，附上他和 Roth 视作罗尔斯式公平的一个变体的算法公平性定义。他原以为自己问的是一个是非题。舅舅回的却是他所说的“经典哲学家式的回答”：要看情况。你这样看，得出一个结论；换个假设，结论就变了。那一刻，他第一次看到了真正的裂缝。哲学家从人道主义的视角争论正义，已经有两千多年了，问题本身从柏拉图的“正义是什么”一直延续下来。计算机科学家要做的，则是写出一条能跑起来的约束。

他并不认为算法正在解决最大的问题。书中打的比方是“在有光的地方找东西”。如果警察在盘查对象上存在种族偏见，这种判断就会进入数据。Kearns 说，指望后面的巧妙方法来“挽回”，是做不到的。算法能修的，是那些显而易见的灾难：从不考虑公平性的模型往往极不公平，从不考虑隐私的系统常常严重侵犯隐私。把这些大的失败修好，收益是实实在在的。可一旦走进灰色地带，问题就变成了：公平对谁而言，又要以谁的代价来换。那已经回到了哲学家和立法者的地盘。

让他一直记在心里的，是隐私与公平之间的对比。Kearns 说，在隐私领域，研究界基本已经敲定了一个定义，就是差分隐私。公平性则明显更乱。文献里已经有定理表明，三种完全合理、彼此都令人向往的公平概念，不可能同时得到满足。与算法隐私相比，算法公平会是更难的问题，而且它必须重新审视许多代学者在计算机科学出现之前就已经讨论过的论证。现在仍是非常早期的阶段。

Fridman 问了一个直白的问题：计算机科学家会说排序算法是 O(n log n)，或者说分类器在区分猫和狗时准确率是 97%。会不会有一天，有人能以同样有力的语气说，一个算法是 97% 合乎伦理的？Kearns 的回答是：会，但要有一个特定前提。这本书开篇讲的是把一叠编号卡片排好序：每次扫一遍找出最小的，再扫一遍找出第二小的。这是一个算法，而且是个糟糕的算法：它是平方级的，最优解是 n log n。即便问题被定义得这么精确，仍然存在许多算法，它们在时间、内存和分布式实现上各有取舍。计算机科学早已习惯比较这些量。《伦理算法》讨论的，正是伦理中那一部分可以放到同样的定量基础上去衡量的内容。

一旦定义确定，数学就可以接手。Kearns 说，对于放贷模型，你可以报告：黑人申请人和白人申请人的错误拒绝率相差不超过 3%，“我们或许可以把它叫作 97% 合乎伦理的算法”；如果是 100%，就意味着差距为零。最难的一步，恰恰是机器做不到的那部分：用户必须决定保护谁，以及什么算作伤害。在放贷中，假阴性（拒绝了一个本来能还款的人）看起来才是真正的伤害，而假阳性则显得像运气。把贷款发给一个还不起的人，就一定无害吗？答案并不明显。这些都不是技术性的答案。

群体公平还有一个更奇怪的缺口。Kearns 说，如果你是被错误拒贷的人，几乎所有主流的群体定义都会告诉你：你得到的“补偿”，就是知道系统也在以同样的比例错误地拒绝其他群体。当事人感受到的是自己的损失，感受不到统计上的平等。群体概念与任何可能让个人觉得公平的东西之间，存在着活跃的技术张力。他补充说，这个领域甚至还没有走到对最受伤害的那个人做最坏情况分析的地步。文献里几乎所有定义，在他看来都是约定俗成的常识：研究者坐下来，发明一种人们理应想要的技术性公平。他的团队刚开始做人类受试者实验，让成对的人在累犯场景中判断，从公平的角度看，他们是否应该被同等对待。据他所知，目前还没有大量文献去探询普通人的主观公平感。可解释性也有同样的空白。大家都同意深度学习很难理解，稀疏整数线性模型更容易理解，但几乎没有人把模型摆在别人面前，问问他们是否明白它在做什么。

一个人是各种属性的组合：种族群体、性别、年龄，还有一大堆非生物学的事实，它们仍然强烈影响着结果。如果要求模型在种族、性别和年龄上各自都公平，那么对于一位年收入低于 50,000 美元、年过 55 岁的残障西裔女性，你也不能指望它对她公平。Kearns 把群体公平和个体公平放在同一条轴线上。要求个体层面的公平，等于同时要求每一种可能组合上的群体公平。我们每个人都可以被当作规模为一的群体，因为最终总会有某个属性把任何两个人区分开来。研究者知道如何在这条轴线粗略的一端给出保证，却还不知道如何在个体的那一端给出合理、可处理的保证。研究计划是通过保护更细的子群体，一点点向中间靠拢。

他给这种失败模式起了个名字：公平性“杰利蝾螈”。像政治划分选区一样，你可以通过偏袒某些组合、歧视另一些组合，来维持一个总体承诺。人能不能给群体设定权重，比如性别占 0.6、种族占 0.4，再把它放进目标函数里？技术上可以。不过，公平很特别：你一旦讨论它，就会陷入永远说不完的争论，比如为什么是这个群体，是出于对历史的补偿，还是出于经济机会，抑或别的什么。隐私不是这样分裂的。人们希望拥有更多隐私，泄露会造成伤害和负面报道，人们普遍认为数据隐私越多越好。公平则会立刻变成：对谁公平，以牺牲谁为代价。

刑事司法让缺席的一方变得显而易见。关于量刑、不出庭预测和假释的讨论，几乎总是围绕被告的公平。受害者的公平并不在约束条件之中。要求黑人和白人的错误监禁率大致相同，根本没有提到潜在的受害者。Kearns 和 Roth 很快就明白：如果他们只做技术工作、出去讲讲，却拒绝回应算法之外的论证，也就是社会首先应该保护什么，那么他们不可能被认真对待。

选定一个公平性定义，比如担心性别歧视，再选定一种伤害，比如贷款被错误拒绝，那么你首先能做的就是审计。Kearns 说，从数据中很容易报告女性的错误拒绝率比男性高出多少。把公平性放进目标函数，你就能画出他所说的帕累托曲线。一个轴是错误率，另一个轴是不公平程度；算法有一个旋钮，控制执行约束的力度。理想点在原点，错误为零，不公平也为零。任何训练过模型的人都知道，即使完全不加公平约束，错误率也降不到零。你得到的是一条凸曲线，它具体告诉你：要把错误率从 17% 降到 16%，需要付出多大的不公平代价。曲线之外的点，可以在一个或两个维度上被严格改进，它们不是认真的选项。

他认为，这条曲线应该成为研究者与利益相关方之间近期的接口。设想一个刑事司法辖区，既关心种族公平，也关心准确性：不应放出会再次犯下暴力罪行的人，也不应继续关押本不该被关押的人。这些目标彼此冲突。你可以把曲线摆在他们面前，展示：如果要求不同种族群体之间的假阳性差距保持在某个水平，那么释放决定的整体准确率要付出什么代价。Kearns 说，这个选择不应该由计算机科学家替社会来做。政策制定者、监管者，以及相关领域的人，应该来选定那个点。无视这种取舍，依然是在选点，只不过你自己不知道，也不会承认。

在假释模型中，数值上的错误，指的是释放了之后又再次犯下暴力罪行的人，或者把本不该关押的人继续关着。不公平则可能是不同种族群体在这些假阳性关押上的差距。为什么这个差距不公平，很快就会牵扯到更古老的争论：机会平等与结果平等之争；一个群体更高的再定罪率，本身是否是早先剥夺留下的残余；算法是否应该纠正多年前发生的不公。有些公平理论想要的是矫正；另一些则只想让当下的起跑线拉平。曲线无法解决这些争论，它只是让每种立场的代价变得可见。

人脸识别清楚地展示了偏见如何进入系统，而且没有人在编程时想要作恶。如果训练集里大多是白人男性，而目标是整体准确率，那么降低错误率最省事的办法，就是把多数群体判对，即使其他群体的表现更差。常见的回应是，这种取舍是假的：多收集一些少数群体的图像，或者为每个子群体单独训练模型。Kearns 的回答是，这些做法同样有成本。稀有群体的数据要花钱，多个模型的构建、部署和维护也要花钱。即使你在损失函数里消解了错误率与公平之间的张力，成本也会以预算和日程的形式重新出现。他认为，讨论中之所以绕开这一点，是因为谈钱比谈原则更让人不自在。

他还想打消人们对书名的一种理解。看到《伦理算法》，人们担心书里主张算法应当决定社会规范，并自行发展出公平和隐私的概念。Kearns 和 Roth 明确不是这个意思，尤其是在人们已经担心机器会成为统治者的当下。书中的立场更窄：如果社会，或某个领域的利益相关方，能够就这些事达成一致，通常就有办法把这种一致编码进去。达成一致不是算法的工作。在他看来，计算机科学家没有资格替社会决定什么才是正确的社会规范。他们能做的，是证明：当一致存在时，它是可以被实现的。

Fridman 把话题引向那些已经通过推出产品注入了价值观的公司负责人。Kearns 不想为他们辩护，但他认为，说这些公司明确决定了制造两极分化，未免说得太重。Facebook 和它的前身 Friendster 起初只是新奇的小东西，人们想不通有人为什么要在那里花时间，就像早期网络大多还是爱好者的个人主页时，人们也不明白它有什么用。工程师和高管做过设计上的选择。他认为，十年前没有人预见到这些平台会在政治讨论和选举中获得如此大的影响力。如今的审视是恰当的。但回头说“他们本该看到”，他觉得有点过于苛刻。这些系统算不上在毫不知情的用户身上运行的孤立算法。它们是社会系统；并且由于机器学习的参与，它们的技术演变在很大程度上，也受到人们如何采用和使用它们的驱动。

几行代码解决不了这个问题。他仍然认为有办法让情况变好。平台本来就把人和内容放进了一个度量空间。同一个估计你对某条帖子好感度的模型，也会估计你可能强烈反对或感到冒犯的内容。你可以调动旋钮，让系统更多展示那些离你较远的内容。你甚至可以给用户一个滑块：你想看多少你可能不同意的内容，或者离你的兴趣较远的内容，几乎就是一个探索按钮。他说，最大化参与度正是行业走到今天的原因。做点不一样的事情，绝对是可能的。它很可能会损失收入和利润，至少在短期内是如此。如果他在那些公司工作，优化参与度看起来会是再自然不过的事。参与度是可以衡量的；减少撕裂，或让一个人在一生中获得最大的智识成长，则无法衡量。他并不是说，换一个目标就能立刻显得对社会有益。但他仍然认为这值得一试。

如果扎克伯格打电话来，请他用六个月时间经营 Facebook，Kearns 的第一反应会是：谢谢，不必了。他认为，要尝试他心里设想的那种有限改动，未必非得当 CEO：让选择加入的用户看到一个不完全只为迎合其兴趣和信念而挑选的信息流。概念上，他并不觉得这很陌生。这些公司本来就生活在一个有距离的空间里；能让你尽可能开心的模型，也会告诉他们怎样让你尽可能不开心。他说，我们似乎身处一种糟糕的均衡之中。这些系统帮助我们每个人短视而自私地进行优化。从任何一个人的角度看，为什么要坐在一个全是无关或冒犯内容的信息流里？也许正因为大家都让平台这么做，集体结果（政治讨论、对不同意见的容忍度）才变成了社会普遍不满意的样子。他还对公司补充了一句：Friendster 看起来毫无意义的时候，没有人预见到选举影响和两极化争论。这些后果是大家一起摸索出来的，包括这些公司自己。

被问到符号主义 AI 或其他传统是否有助于公平性时，Kearns 说，在这个语境下他还没有想过这个问题。他总体上同意，近年来机器学习的成功是真实的，但也是狭窄的。他不认为这个领域比他入行时明显更接近通用人工智能。至于更有争议的想法，即算法本身可以探索什么才算公平，他持保留态度。他说，你对一个领域了解得越多，就越能看到它的局限；而当人类在挑选定义时，我们已经有太多东西不知道了。对不公平子群体做算法审计，也就是杰利蝾螈的情形，在特征组合中搜索歧视最严重的地方，是一个更窄、也更有用的命题。让算法决定什么是公平，以目前这个领域的状况看，在成本效益上站不住脚，哪怕这个话题本身情绪色彩很浓。

Fridman 认为，计算机科学正在成为一种基本素养：哲学家应该学会编程，好去抓取 Twitter 数据，再争论生命的意义；二三十年后，计算机科学家会回到 Donald Knuth 式的理论核心，而其他人则去做应用工作。Kearns 并不反对其他学科采用代码的趋势，他把责任反过来看。计算机科学对社会的影响，在十年、二十年里呈指数级放大。研究者在彼此之间修修补补的时候，不需要成为世界的公民。Kearns 说，那样的日子需要很快结束。计算机科学家应该自己多走出去，别指望其他人都会变成计算机科学家。他们 2019 年写这本书的一个原因是，十年前公众对算法的认识太少，得先写一本入门读物；现在，已经有不少没有技术背景的人懂得足够多，能进入其中的细微之处。

他又提出一个更大胆的猜测：五十年后，也许不再有计算机科学系，因为这门学科会渗透进每一个学科，计算机科学系将看起来像电力系。Donald Knuth 式的理论核心仍会保留。一门因自身成功而被边缘化的学科，并非不可能的路径。Kearns 指出，计算机科学家有一种扩张主义倾向，就像上一代的物理学家：没有哪个科学题目是禁区。他们通常会先丢一阵子脸。强化学习就是他举的例子：控制理论学者大可以说，早期的一些工作是在重新发明 1940 年代的东西。最终，计算机科学家也做出了实质性的贡献。如果他们开始做心理学和人类受试者研究，就应该预期自己会丢上好十年的脸，并希望结果能像他们误入的其他领域那样不错。

Kearns 说，算法隐私，是研究如何把隐私定义编码进算法之中的学问，其中也包括数据匿名化这种日常做法。匿名化至今仍是应用最广的技术方案，而他认为它存在根本性的、深层的缺陷。匿名化的做法包括删掉姓名列、把年龄按十年分组、保留邮政编码的前三位，然后宣称结果不含个人身份信息（personally identifiable information，PII）。概念上的缺陷在于，这些定义假装手里的数据集是世界上唯一的数据集，或者是未来唯一会存在的数据集。

Netflix Prize 是一个早期的教训。Netflix 发布过评分数据，去掉了姓名，但保留了你给哪些电影打过分、何时打的分。研究者把这份文件与公开的 IMDb 评分拼接起来，重新识别出了一些人，随后出现了诉讼。Kearns 对过去十年的总结是：知道你的一些看似无关紧要的事，往往就能充当指纹。你给十部电影打的分，加上日期，几乎能从数百万 Netflix 用户中唯一地挑出你。他很喜欢的一项 Facebook 研究显示，仅凭点赞，不需要人口统计信息，也不需要好友关系图，就整体而言足以预测性取向、药物和酒精使用情况，以及你的父母是否离异。他还提到，《Science》或《Nature》上近期有一篇论文，大约十八个属性就能唯一识别很大一部分人口。具体数字的意义不大，重要的是量级：所需的特征远比直觉认为的少。

差分隐私是一种强得多的承诺。Kearns 说，它的奠基工作，他的合著者 Aaron Roth 也出了一份力。想象一个医疗记录数据库，其中有你的一条记录，被用来训练一个疾病模型。比较两个世界：一个是用完整数据库做分析，另一个是做同样的分析，只是去掉了你的记录。差分隐私说，包含你那次分析所带来的伤害，应当与不包含你的那次分析几乎相同。它并不承诺数据分析不会伤害你，它说的是：这些伤害本来就会发生。

1950 年代关于吸烟与肺癌的研究，就是一个现成的例子。如果你的记录在分析之中，而当时吸烟还没有污名，那么公布的发现可能会提高保险公司对你患肺癌的后验概率判断，进而提高你的保费。这是真实的经济伤害。而对其他人的记录做同样的分析，也会得出同样的关联，因为这个关联是关于世界的事实，从任何足够大的医疗数据库里都能发现。你的那一行并不特殊，也不关键。

机制是噪声。每一种有用的差分隐私算法都是概率性的：同样的输入，运行两次，输出会不同。通常的做法是先计算精确的统计量，再加入均值为零的高斯噪声或指数噪声，让公布的数字接近真实均值，但无法被反推回任何一个输入。Kearns 最初对这个定义的反应是，它很巧妙，但可能严格到无法使用。这个领域的成功，恰恰在于证明了相反的结论。反向传播和神经网络、决策树、支持向量机、提升法、经典的假设检验，它们的原始形式都不具备差分隐私，但每一种都有带噪声、具备差分隐私的变体。依赖统计建模的整个科学体系，不必推倒重来，就能给个人一份稳健的隐私保证。

Fridman 半开玩笑地说，一场声称 Kearns 爱吃花椰菜的竞选活动，可能掩盖着他其实喜欢意面。人们确实试过类似的思路。纽约大学的 Helen Nissenbaum 团队做过一个浏览器插件：你在谷歌上查询时，它还会同时发出大量无关的查询，于是你的浏览器发出的一千次查询里，只有一次是你自己的。Kearns 把这种做法叫作隐私靠混淆（obfuscation）。这很有意思，但它不是差分隐私。更重要的是，它不能覆盖每一种场景。当他在谷歌上输入“山地车”时，他想要的是关于山地车的结果，也希望谷歌知道他输入的就是这个。他不希望这次查询带上噪声。医疗、个性化推荐和地图属于同一类：数据的价值，恰恰在于它就是你的。设计一种隐私概念，既允许服务精确使用你的数据，又依然给你保证，是一个尚未解决的技术问题。

更大的落点上，他很乐观：会出现比今天更好的折中，隐私更强，个人控制更多。仅靠算法提案到不了那里，必须有监管和法律程序推动公司采用它们。他提到一些刚起步的研究，探讨如何为有选择地使用个人数据的人提供补偿。假设你在训练一个罕见病模型，阴性样本容易得到，阳性样本却很稀缺，那么病人的记录在这一用途上就更有价值，或许应该给他们更多报酬。今天的互联网经济是双边市场：出版商和广告主在两端，谷歌和 Facebook 居中，用户不在谈判桌上。一个由代理代表用户的三边市场，在技术上并不是疯狂的想法，它会带来极大的经济后果。那句老话仍然说中了关键：用户是产品，客户则是广告主。如果个人控制达到足够大的规模，它就会颠覆支撑互联网的经济模式，那时就得有别的东西取而代之。

Kearns 说，博弈论（这一功劳应归于经济学家）是一个数学框架，用来推理相互作用的个体之间的集体结果。至少需要两个人才能开始。囚徒困境是最著名的例子：每个人都只顾自己，得到的集体结果比合作更差，而合作本身并不是均衡。算法博弈论大约有二十年的历史，关注的是参与者极多、激励复杂的场景，仍然希望找到算法的方式来预测或影响结果。他很推崇的一个结果来自纳什：在非常一般的条件下，竞争性均衡是存在的。没有均衡，就很难推理可能发生什么，因为没有稳定性可谈。但存在不等于现实中的迭代行为一定会走到那里。

Kearns 认为，算法博弈论最重要的技术贡献，是它与无遗憾学习（no-regret learning）之间的紧密联系。各自只追求自身利益的参与者，可以在相当少的步数内达到纳什均衡（Nash equilibrium）。稳定本身无所谓好坏。最清楚的日常例子是导航。你打开谷歌地图或 Waze，输入出发地和目的地，应用会根据其他人的行为，为你计算出一个出于私利的最优驾驶选择。Kearns 认为，可以说这些应用正在把每个人推向这场博弈的纳什均衡。理论以及一些关于真实交通的有限研究表明，处于那种竞争性均衡时，集体驾驶时间可能比其他解法更长，甚至长得多。社交平台替你做的，也是同一类优化。博弈论的一个重要教训是：处于均衡，并不意味着不存在某种解法，能让一些人，甚至所有人都过得更好。

Fridman 问起“相互确保摧毁”（mutually assured destruction），那个被认为稳定的体系。Kearns 是博弈论历史的爱好者，但仍然觉得惊讶：1960 年代，兰德公司的人会画一张二乘二的表格，美国作为行方、俄罗斯作为列方，然后认真地用它来思考核问题。他说，这似乎奏效了，这也是它如今看起来天真的原因；我们还在这里。当时只有两个核大国，你不必去威慑新的加入者。如今参与者更多了。在利害攸关、复杂性又来自政治和社会的时候，他一般不会鼓吹简单的数学模型。然后他补充道：我们还在这里。

Kearns 一直看着算法接管金融，顺序和它们接管其他工作一样：先是计算机显然更擅长的那些工作。电子交易所让算法交易成为可能，因为一个 API 订单和一次键盘敲击同样有效。最早的渗透是优化执行。一家券商替机构买入大量苹果公司股票时，如果不把订单拆分到不同时间、不同交易场所，就会把价格推向对自己不利的方向。这是优化与控制，而喂入了历史和实时数据的机器，在安排时间表上胜过了人。高频交易则位于这一层旁边：发现交易所之间或某个资产内部短暂的错误定价，或读取细粒度的订单簿流动。机器擅长交易的机械性环节。

量化基金眼下最吃得开的一块，已经吃了一段时间，是统计套利（statistical arbitrage）：对价格或收益的方向性判断，意在几秒到几天之内有效。巴菲特的时间尺度则是另一种生物。Kearns 打的比方是：巴菲特坐下来，问苹果的长期价值应该是多少，不去看今天的盘面，判断差距很大，然后持有十年或二十年。在这样的时间尺度上，你要扛过衰退、周期和战争。高频模型只需要接下来 500 毫秒保持平静；它必须盯住的外部冲击，大概只有 CEO 丑闻。长期投资者则需要对政治、周期和社会情绪的判断，还要处理节奏差异极大的数据。Kearns 与费城联邦储备银行联合资助的一次研讨会，讨论用机器学习做宏观经济预测，让他更确信这个领域还有很长的路要走。有人问，华尔街哪份工作不会被机器人取代，他指向那些在更长时间尺度上工作、并愿意承担长期投资风险的人。他不认为近期会出现机器人版巴菲特。

Fridman 最后问，有没有哪一天让他真正快乐，或者让他深刻地改变了。Kearns 回答的是一个略有不同的问题：一个分水岭。他从本科直接读到哈佛的博士，导师是 Les Valiant。他出身学术家庭：父亲是教授，舅舅是教授，两位祖父也都是教授，领域五花八门，甚至包括哲学。第一年他并不快乐。伯克利的环境很大；他最初读英语，修过历史和艺术史，朋友们几乎什么都做。哈佛的计算机科学系，尤其是在当时，规模很小。他从一个大世界跌进了一个专门化的世界，每门课都是计算机科学，每个同学不是学数学的，就是学计算机的。他常常想，干脆拿个硕士就走，回湾区去一家当时的大型科技公司拿份高薪工作。

他记得一个暮春的日子，坐在波士顿公园里，反复琢磨该怎么办。他意识到自己过得并不愉快，这种感觉让人越来越窄，但他来这里是为了做研究、做出原创的东西，为自己开辟一条能独立前行的职业道路，而这些他还没有真正去尝试过。他决定撑过这个夏天。一年之后，很明显他会读完。研究开始进展顺利，也很有意思。他描述了每个博士生都会经历的转变：从研究别人做过的东西，到做自己的事，并学会认清自己作为研究者的长处和短处。Fridman 补充说，这也意味着接受旅途中的痛苦。Kearns 表示同意。那天下午，他告诉自己要再待一阵子。