AI 研发能暂停吗？2023 年公开信及其权衡

2023 年 3 月，一封公开信汇集了 AI 研究人员和科技界人士，呼吁暂停训练强于 GPT-4 的 AI 系统。我想讨论他们的理由、签署者、对 OpenAI 的影响，以及暂停是否真的可以执行。这里讨论的是这项提议和 2023 年当时的竞争格局。

[Future of Life Institute 的公开信](https://futureoflife.org/open-letter/pause-giant-ai-experiments/)发表于 3 月 22 日，呼吁公开、可验证地暂停训练强于 GPT-4 的系统至少六个月。我录制视频时，页面显示有 1172 个签名。提议以 OpenAI 的模型为门槛，但面向所有 AI 实验室，并没有要求停止所有 AI 研究。

公开信认为，具备与人类竞争能力的 AI 系统可能带来深远风险，而实验室在缺乏充分规划的情况下竞相部署越来越强大的系统。我认为这种担忧值得重视：一旦强大技术广泛传播，可能很难重新控制。信中关于未来系统和失控的说法是警告，并非已经发生的结果。

作者提出，是否应该让机器用宣传和虚假内容淹没信息渠道？AI 生成图像可以说明这个问题：那张广泛传播的教皇穿羽绒服图片，让许多人信以为真。如果进一步出现归于真实人物名下的虚构视频、图像和文字，虚假信息可能变得更加难以管理。

公开信还问，是否应该自动化取代工作，包括令人有成就感的工作；它也提出未来非人类系统可能比人类更聪明或取代人类。这些是问题和推测性的风险，并非现有 AI 已实现通用智能或这些结果不可避免的证据。作者认为，只有充分了解强大系统的影响和风险，才应继续推进。

所要求的暂停将涵盖超过 GPT-4 门槛的系统训练，涉及主要参与方，并且应当公开、可验证。如果无法迅速实现自愿暂停，公开信呼吁政府实施禁令。我怀疑政府能否足够快地作出反应，因此不认为这个后备方案容易落实。

作者建议 AI 实验室和独立专家利用暂停期制定共同安全协议，并接受独立监督，同时与政策制定者合作推进治理。他们明确没有要求全面停止 AI 开发：现有系统仍可变得更安全、更透明、更可靠。我支持花时间建立有意义的保障措施。

我讨论的签署者包括 Yoshua Bengio、Stuart Russell、Elon Musk、Steve Wozniak、Andrew Yang 和 Max Tegmark，还有一些科技公司人士。视频中展示的是当时的名单快照，签名可能发生变化。我注意到当时看到的名单中没有 OpenAI 首席执行官 Sam Altman；未出现在该快照中，并不能说明某人没有签署的原因。

在一段采访中，Altman 表示担心虚假信息和经济冲击可能达到社会尚未准备好应对的规模。我还提到了他 2015 年关于机器智能的文章。业内对 AI 风险的性质及正确应对方式都存在分歧，因此不能把对风险的担忧误认为大家一致支持暂停。

接下来是一项 [OpenAI 与宾夕法尼亚大学的研究](https://arxiv.org/abs/2303.10130)：作者估计，美国约 80% 的劳动者至少有 10% 的工作任务可能受语言模型影响，约 19% 的劳动者至少有一半任务可能受影响。他们评估的是任务受到影响的潜在程度，包括软件可能帮助更快完成的任务；这些百分比并不预测失业人数或技术采用时间。

我尤其担心知识工作，包括像我自己这样在电脑前完成的工作。任务可能受影响并不意味着所有相关岗位都会消失，论文也没有声称工作会立即被取代。尽管如此，许多任务可能发生变化，让劳动力市场问题值得讨论。

当时我认为 OpenAI 处于领先地位，因为它拥有 GPT-4；我认为以该模型设定门槛，可能在限制 OpenAI 下一次模型训练的同时，让竞争对手有机会追赶。这是我的竞争判断，并不意味着研究证明 GPT-4 在每项任务中都是最好的，也不意味着 OpenAI 必须停止未来所有开发。

从 OpenAI 的角度看，暂停可能相当于让竞争对手缩小差距。我能理解这为什么可能降低它签署公开信的意愿，尽管我并不知道公司的动机。我仍然支持暂停足够长的时间，以考虑保障措施和快速发展的影响。

实际困难在于全球协调：许多国家的独立公司需要就门槛达成一致，并让暂停可以验证。我不知道这能否做到，也怀疑政府能否足够快地实施禁令。公开信本身是一项提议，不是全球暂停已经实施的证据。

我希望 OpenAI 参与讨论，也希望行业花时间思考 AI 竞赛可能把我们带向何处。我想问：六个月的暂停对 OpenAI 是否公平？其他公司有什么签署的动机？Sam Altman 会不会签署？这些问题仍在讨论中，并没有定论。