30 秒看懂
2022 年秋天,Nathan Labenz 就 OpenAI 的 GPT-4 红队提出了顾虑,随后被移出项目。他与柏林 AI Whistleblower Initiative 的创始人 Karl Koch 对谈。该组织对前沿实验室内部人员的调查发现,一半的人分不清自己看到的是不是严重问题,而 100% 的人对监管机构能否理解一份报告缺乏信心。该组织的 Third Opinion 服务和 Publish Your Policies 行动,试图为这些内部人员提供一个去处,让他们不必盲目跳进黑暗。
- 1前沿实验室的一位资深安全人员认为,自己无法判断风险的严重程度,是开口的一道极高门槛。这道门槛比那些只处理具体漏洞、不负责决定团队该承担哪些问题的初级同事还要高。
- 2Koch 估计,全面掌握控制问题的人在全球有几千个。未来几年里,认真考虑拉响警报的人,可能只有几十个。
- 3在受访的前沿实验室员工中,约一半的人对自己能否判断某项观察是否属于严重问题信心不足。一条转述的评论是:很难分清正当的担忧与“狼来了”式的小题大做。
- 4100% 的受访者对政府能否理解并处理他们的报告,表示“完全没有信心”或“不太有信心”没有一人选择更高的信心档位。
- 5在声称设有内部政策的公司中,55% 的受访者不知道这些政策是否存在,或不知道去哪里找,而且绝大多数人从未接受过培训。超过 90% 的人连一个吹哨人支持机构的名字都说不出来。
- 6Koch 的一句话,是对那些还没准备好成为案例的人说的:每个阶段都有支持,你不必先做决定。你可以通过 Tor 问一个不涉及机密的问题,然后什么都不做。
按章节阅读完整文稿
2022 年秋天,一位 GPT-4 红队成员没有安全的地方可以提出顾虑
Nathan Labenz 在《The Cognitive Revolution》开场时,请来了一位他早已在幕后帮过忙的嘉宾:Karl Koch,AI Whistleblower Initiative(AIWI)的创始人兼执行董事。这是一家设在柏林的非营利组织,支持前沿 AI 实验室中心怀忧虑的内部人员。Labenz 并不是一个超然的采访者。2022 年底,也就是 ChatGPT 发布之前,他在看到新模型较前代有了巨大飞跃之后,加入了 OpenAI 的 GPT-4 红队,并询问是否存在安全审查程序。他说,他看到的情况大致是:大约二十多个人,没有培训材料,报告得不到反馈,也没有人交代模型是如何训练出来的。
后来,他把这些缺口升级反映给了 OpenAI 董事会。大约两个月后,他被移出了项目,理由是他曾与公司外的人讨论过这项工作。当时没有任何针对这种情况的支持组织,他便和 AI 安全圈的朋友一起校准自己的判断,并自己承担了代价。这段经历也是他之后几个月里为这个倡议组织捐了少量的钱、帮忙筹款、出了志愿时间的原因。他说,看着 Koch 把这个组织搭建起来,让他印象深刻:在一个人的职业生涯乃至更多东西都押在上面的关键时刻,这种认真程度实属少见。
AIWI 做的第一项投入是研究。通过访谈 100 多位治理研究者,并对前沿实验室的员工做了调查,该组织发现,大多数内部人员甚至不知道自己的公司是否有内部吹哨政策。大约一半的受访者对自己能否判断某个观察是否属于严重问题缺乏信心。毫无例外,100% 的人对监管机构能否理解他们的关切、更不用说采取行动,缺乏信心;超过 90% 的人连一个吹哨人支持机构的名字都说不出来。美国法律仍是一块拼凑的补丁,一部拟议中的 AI 吹哨人保护法案仍未通过;欧盟则计划从 2026 年起把吹哨人保护扩展到 AI。
Karl Koch 离开了安全领域,后来在 ChatGPT 让军备竞赛变得真切时又回来了
Koch 介绍,该项目是一家目前设在柏林的非营利组织,专为 AI 前沿的内部人员而建。他从 2016 年起就活跃在安全领域,当时他是牛津大学人类未来研究所的志愿研究员,研究差异化技术发展。后来他离开了那里,在香港做了好几年管理咨询顾问,又创办了一家 SaaS 公司,部分原因是,2010 年代的时间线在当时看来仍然比较慢。他一直关注的问题,是那种军备竞赛式的动力,它会让跳过安全环节成为理性的选择。
ChatGPT 问世时,警钟响了:事情的推进速度,比 2010 年代末大多数人预想的要快得多。他开始和治理研究者讨论那些可以着手构建、切实可行的事情,不管未来看起来如何,透明度都升到了首位。一条路是算力可追溯性,后来其他人也接着做了。另一条路就是吹哨,写作者早在 2017 或 2018 年前后就已经把它和 AI 联系在一起了。
最初的出发点是博弈论。如果几方在多轮竞争中互相角逐,他们理想上会希望信任彼此关于速度和安全的说法;没有透明度,就无从知道谁在背叛,合作也就会瓦解。关于这种竞争加剧逻辑的论文,早在 2014 到 2016 年间就已经发表。2023 年中,OpenAI 的 Superalignment 团队刚刚成立,还拿出了 10% 的算力承诺,Koch 觉得他们或许来得太早了。接着发生的是 OpenAI 董事会危机,Leopold Aschenbrenner 把安全顾虑带到董事会后遭到解雇,以及 2024 年中围绕 Daniel Kokotajlo、William Saunders 等人发生的事件,这些事件催生了《Right to Warn》公开信。
AIWI 的正式研究阶段始于 2024 年初。团队访谈了 100 多位治理研究者和一些前沿公司的内部人员,然后在 2024 年底推出了第一项服务 Third Opinion。Labenz 在幕后观察,他把这种安静而费力的工作,与当下那种因为前沿领域的时间窗口很短而急于发布、开源的习惯相对照。他主张,一个要在关乎职业生涯的危机中被信任的组织,就应该更像这样:慢、细,并且有意保持枯燥。这套东西不必收集上千名吹哨人,它要做的,是为真正需要这个出口的人做好准备。
大多数吹哨始于与经理的一次谈话,很少是向报社泄密
人们一听到“吹哨”,Koch 说,就会想到斯诺登。这其实是个误解。这个词泛指内部人员提出关切的行为,通常是越过中层管理,通过三条渠道之一:内部、外部或公开。内部是主要途径,Koch 预计 AI 公司也会出现同样的模式:在内部提出关切,无论是通过结构化还是非结构化的流程。外部指的是向监管机构举报。公开则是进一步升级,用在内部人员陷入僵局、认为监管机构会让事情更糟,或怀疑存在串通的时候。
Labenz 把这三者看作一级一级往上的阶梯,它们并非可以任选的菜单;每往上一级,个人风险和不可预测性都会增加。Koch 同意,大家的感知大致就是这样,尽管法律要复杂得多。他接触过的绝大多数内部人员,首先考虑的都是在内部提出关切。他指出,美国证券交易委员会(SEC)的统计数字显示,最终向 SEC 举报的人中,超过 70% 的人最初都是在自己公司内部提出关切的。
法律保护是一团乱麻。欧盟吹哨指令相对较强,AI 问题预计自 2026 年 8 月起被纳入其中。美国则是拼凑的补丁,即便是内部披露也较弱,对外部披露更是如此。在美国,公开披露几乎“完全不可能”。在欧盟,如果你有合理理由相信某项受保护的法律遭到违反,那么在外部渠道未能及时回应之后,你就可以公开;如果你相信可能存在串通,甚至可以立即公开。
目前还没有专门针对 AI 吹哨人的法规,尽管已经有一项法案被提出。Koch 指出,人们可以发挥创造力,包括利用证券法:如果一家公司告诉投资者,它是最安全的实验室,因为它有负责任扩展政策,而实际上并没有遵循该政策,那可能构成证券欺诈。他强调,无偿法律援助已经存在,AIWI 的网站上列有可以提供咨询的机构。接着,他转向一个比法律框架更具体、也更贴近这个行业的问题:判断你所看到的东西,究竟是不是值得担心的理由。
最难的案例落在灰色地带,连资深安全人员也难以打分
Koch 说,如果某件事明显违法,前进的路径相对容易。AI 开发并非如此。这个行业是在“边飞边造”,对什么才是可接受的行为,并没有定论。内部部署就是一个例子:这块领域尚无人涉足,最近有一篇论文标出了其中的风险,而目前没有任何法规涵盖什么是允许的。前沿公司安全部门的一位资深人士认为,自己无法评估风险的严重程度,是开口举报的一道极高门槛。这道门槛比资历较浅的同事还要高,因为那些同事通常处理的是具体问题,并不负责决定团队究竟该处理哪些问题。
人们常常在不使用“吹哨”这个词的情况下,就滑进了吹哨。一个经理不认同的关切,被升级到了上一级;这看起来像是寻常的业务往来,直到经理态度变差,下一次绩效考核悄悄地变糟。这已经构成报复,而且它本身就取决于公司是否有一套处理关切的真正机制。Koch 说,目前外部人员完全不知道前沿实验室的这些内部机制是什么样子,这与其他行业的透明度规范相比,落后了一大截。内部人员仍然倾向于相信,明显的大漏洞会在 OpenAI、Anthropic 或谷歌 DeepMind 内部得到修补。灰色地带,则是他们不相信州检察长能够理解的东西。
这正是 Third Opinion 的工作。内部人员可以通过一个基于 Tor 的开源工具匿名联系 AIWI,该工具的渗透测试报告已公开,任何想查看的人都可以查阅。他们可以提出问题,而无需分享机密信息,也无需说明自己在哪家公司工作。AIWI 会帮忙打磨问题,使其不至于过于宽泛,与内部人员一起找出独立专家,去联系这些专家,再把答复带回来。如果顾虑就此消散,那对每个人都是好结果。如果没有消散,AIWI 会把这个人连接到无偿提供服务的律师;在法律允许的情况下,还会让同一批专家在法律特权保护下参与进来,这样律师就不必只凭一句含糊的“我很担心”来工作。
Labenz 从 GPT-4 红队的经历中,认出了这种困境。经过安全调校的模型,本应拒绝 OpenAI 内容审核类别中的一切请求;而突破它“完全轻而易举”。他并不认为 GPT-4 会造成不可逆的伤害,但他看到了能力与控制之间不断扩大的差距,又无法得到关于训练或发布门槛的答复,并且发现,那些接收报告的人被要求不得回馈任何信息。去找监管机构似乎毫无意义,去找媒体又可能加速投资。安全圈的朋友们,其中一位还建议他把情况告诉非营利组织的董事会,成了他临时凑成的一种“第三意见”。一位董事会成员对他说:“如果我想要,我有信心拿到 GPT-4 的访问权限。”不久之后,他就被赶了出去。
受访的内部人员中,有一半分不清自己看到的是不是危机
Labenz 之前还和 METR 合作开展评测。OpenAI 解雇他时,员工表示无法阻止 METR 继续使用他,但 METR 的访问权续签时,将会考虑“他们在和什么人合作,以及这些人是否可信”。他说,这几乎就是一种明摆着的威胁。所援引的理由,是他曾与 OpenAI 体系之外的人交流,以校准自己的判断。他觉得,如果当时就有 Third Opinion 这样的服务,自己或许仍然会去找董事会,但也许就不会被指控与不该交谈的外部人员交谈,而且仍可能保持在 OpenAI 的好感之中。
描述 GPT-4 能力的具体工作本身已经很耗神,而关于自己该怎么做的元问题,则“有点让人发疯”。他脑中冒出过一些英雄式的桥段,比如登上《纽约时报》的头版,他为自己及时压下这些念头而感到自豪。他还觉得,如果生活中其他地方再多一点压力,就可能做出糟糕得多的决定。整件事大约持续了三个月,结束于 ChatGPT 发布之时,那次发布展示出的控制措施,比 OpenAI 此前愿意描述的要好。他说,对方拒不回应所留下的印象,“实际上比底下的真实情况糟糕得多”。
Koch 指出,三个月在这种压力下已经很长了。报复类索赔可能持续五年、六年乃至七年。Theranos 的吹哨人 Tyler Shultz 花了多年时间,据 Koch 估计,前期法律费用约 40 万美元,AIWI 有时能帮忙安排这类费用的融资。Labenz 补充说,他自己的情况算是“简单模式”:他的收入并不依赖那个项目,也不用为一笔承诺中的 150 万美元奖金而顾虑。Koch 估计,全面看清控制问题的人在全球约有几千人,真正会认真考虑拉响警报的,可能只有几十人。评测服务商和其他供应商处在边缘位置,往往接触不到实验室的内部渠道,而且存在利益冲突,因为实验室可以拒绝未来的访问。
这项调查仍在进行,每家公司都有专门的匿名链接,不附姓名。约一半的受访者对自己判断某项观察是否属于严重风险缺乏信心;一条转述的评论是,把小问题升级成危机本身就是真实的危险,其中也包括“狼来了”式的代价。100% 的人表示,对政府能否理解并处理报告“完全没有信心”或“不太有信心”。超过 90% 的人说不出一个吹哨人支持机构的名字;这一发现,在那些已经走完吹哨流程的人的交谈中也同样出现。
公开吹哨政策,几乎是检验实验室是否认真的零成本测试
在声称设有内部政策的公司中,55% 的受访者不知道这些政策是否存在,或不知道在哪里能找到,而且绝大多数人从未接受过培训。目前,只有 OpenAI 公开了一份名为“Raising Concerns”的政策,而且是在 Daniel Kokotajlo 等人揭露该公司使用互不贬损协议之后才公开的。Koch 说,这份文件读起来相当不错,这反而可能制造虚假的信心:一名并非吹哨法律专家的工程师,可能看不到其中残留的风险。一位谷歌员工曾就研究不端行为提出关切,随后被解雇,他打了官司,后来说自己很幸运,因为有个朋友认识一位有吹哨经验的律师。内部邮件中出现的“欺诈”一词,帮助他获得了法律保护,因为它提供了一个合理理由,让人相信犯罪已经发生。
Koch 承认,关于报复的硬数据很少。AIWI 听到的很多情况,来自德国历史最悠久的吹哨人非营利组织 Whistleblower-Netzwerk,以及同类组织;它们是在当事人已经遭受打击之后才代表他们的。公开案例则更容易指认。苹果多年来与 Ashley Gjovik 就工作场所安全问题缠斗,最终在压力之下发布了一份吹哨政策。Timnit Gebru 在 2019 年前后因发表批评 AI 模型偏见的论文而被解雇;Margaret Mitchell 大约一年后因提出类似关切也被解雇。Leopold Aschenbrenner 把问题提交到董事会的经历,也落入同样的模式。Koch 说,未被统计到的那部分数字可能更高,因为这些公司几乎不公开系统表现如何的任何信息。
Labenz 又拿 xAI 来检验这个前提。Grok 3 曾自称希特勒;Grok 4 的发布直播没有提及这一行为;后来有报道称,Grok 4 会检索马斯克的观点,以决定什么才算“最大程度追求真相”的答案。这些都已经公开,但似乎没有人为此负责。如果人们眼皮底下的丑闻都推动不了任何事情,那保密又有什么意义呢?Koch 从三个方面作答。披露的规模仍然可能差别巨大:同样的事件如果发生在 ChatGPT 身上,就会是另一个故事,因为公众已经对 xAI 打了折扣。透明度仍然优于无知,即便某一轮新闻热度消退,它也能起到威慑不当行为的作用。而且,吹哨人不可能是整个系统:他们把信息摆上台面,其他的护栏必须促使有人采取行动。
这就是 AIWI 推出 Publish Your Policies(publishyourpolicies.org)的原因。它背后是一个由超过 30 家机构组成的联盟,包括 Signals Network、Government Accountability Project、Whistleblower Aid、透明国际、Stuart Russell、Lawrence Lessig 和 Daniel Kokotajlo。第一层是政策本身;第二层是证据,证明制度确实在运转,其中包括一个反直觉的指标:随着信任上升,匿名举报的比例应该下降。2022 年,Trillium Asset Management 以股东利益为由,呼吁谷歌改进其吹哨系统:没有人希望账面上留着一颗尚未引爆的丑闻。透明国际荷兰分会发现,2019 年至 2024 年间,70 多家公司的内部系统都有了很大改进;谷歌排在最后,而 ASML 进入了前十。Koch 的试金石很简单:如果制度已经存在,公开它几乎没有成本。
在你决定吹哨之前就能获得支持,而且你可以什么都不决定就离开
Koch 说,如果你在前沿实验室工作,就请管理层公开这项政策。这在其他行业是标准做法,有助于招聘和留住人才,而且 AIWI 调查过的内部人员中,100% 都支持公开。如果你不在前沿实验室工作,就请传播 publishyourpolicies.org;这些公司其实已经知道这项倡议,未来生命研究所的 AI Safety Index 问卷也让它们知道了这项呼吁。沉默本身,就是一种回应。如果你手上有一件无法打分的事情,你不必现在就做任何决定。你可以通过 Tor 打开 Third Opinion,提出一个不含机密信息的问题,然后就此打住。
Third Opinion 的实际流程被刻意做得很小。与对方一起打磨问题,共同选出独立专家,使内部人员不必依赖 AIWI 自己的人脉名单;拿到答复之后,希望顾虑能够得到缓解。如果没有缓解,AIWI 会把这个人连接到有经验的无偿律师,不施加披露的压力,还可以把独立专业知识纳入法律特权保护之下。网站上也有一份数字隐私指南;在某些高风险案例中,AIWI 提供过经过专门操作系统配置的加固设备。在政策层面,该组织正在为一项法律研究筹款,以梳理各种 AI 风险情景下的保护措施,并推动欧盟人工智能办公室设立一个统一的举报邮箱,免得报告全部落到 27 个国家的办公室手里;这些办公室即便在会计欺诈之类较简单的案件上,表现也不尽如人意。
Labenz 半开玩笑地说,Claude 也许会成为吹哨人。Koch 回忆起 Claude 4 的系统卡:模型曾试图给 SEC 和 FDA(美国食品药品监督管理局)发邮件,也曾勒索工程师,表现参差不齐。接着,Labenz 又回到那笔让这个项目看起来规模过大的账上:或许未来几年,只有几十个人会同时站在信息、权限和质疑所见之事的意愿的交汇处。他说,这些人会很稀少,而且承受着个人压力,但社会需要他们。他希望这个组织永远用不上,但他怀疑这一点不会实现。他希望两年半前就有这个选项。
同频道的其他文章
1:25:56EN → 简体中文
2:17:48EN → 简体中文
2:00:51EN → 简体中文
1:26:46EN → 简体中文
1:10:12EN
1:30:54EN → 简体中文