AI 能帮助人类对齐更强大的 AI 吗？

2023 年 7 月，OpenAI 表示超级智能可能在 2020 年代出现，并宣布成立超级对齐团队，研究人类如何引导能力超过自身的系统。这是一项预测，并非确定的时间表。这里的对齐指努力让 AI 系统遵循人类的意图和价值观。

新团队计划由 Ilya Sutskever 和 Jan Leike 共同领导。OpenAI 表示，未来四年将投入截至当时已获得算力的 20%，并招募研究人员和工程师。公司警告，未来强大的系统可能造福人类，也可能带来严重风险，包括人类失去控制。

现有的一项技术是人类反馈强化学习，简称 RLHF。例如，人类评估者可以比较两个回答，指出更喜欢哪一个，以此提供用于训练模型的信息。但 OpenAI 认为，人类可能难以可靠地监督比自己聪明得多的系统。

当前模型仍可能无法遵循指令、给出不准确或有偏见的回答，或者无法拒绝有害请求。Berman 预计随着系统能力增强，监督的挑战也会加大；这是对未来系统可能出现问题的担忧，并非证明某种特定故障必然发生。

拟议的应对方式是开发自动化系统，帮助开展对齐研究。OpenAI 在 2022 年提出的方法有三大支柱：用人类反馈训练、训练 AI 辅助人类评估，以及训练 AI 帮助开展对齐研究。人类研究人员将越来越多地审查 AI 生成的工作，而不是亲自完成全部工作。

这让我想到一个难题：如果 AI 监督 AI，我们如何判断评估者本身是否在误导我们，或者遗漏了问题？另一个问题是系统应遵循谁的价值观。OpenAI 较早的论文承认了这一社会技术问题，并未声称已经解决。

AI 辅助可能放大细微的偏见、不一致或漏洞。未来的对齐问题也可能不同于当前系统中观察到的问题；如果能够协助研究的系统本身没有适当对齐，它们也可能带来风险。问题仍然是：谁来对齐这些对齐者？

2023 年的计划提出，为人类难以评估的任务建立可扩展训练信号：使用 AI 帮助评估其他 AI，并研究监督如何泛化。计划还提出通过寻找问题行为和内部机制来验证系统，再用有意训练的未对齐模型对整个流程进行压力测试。这些是研究方向，而非已经完成的解决方案。

一个相关想法是自我批评。模型可以先编写打印 1 到 100 的代码，再收到第二条提示，要求它寻找错误或改进之处。这类反馈可能对某些编程任务有帮助，但这一示例不能证明自我批评解决了对齐问题。

OpenAI 描述了一个雄心勃勃的四年目标，并明确承认成功没有保证。Berman 用基于 Microsoft 投资的假设来说明算力投入的规模，但 20% 的承诺是指已获得算力的份额，并非经过证实的 20 亿美元预算。

DeepMind 也发表过自动化红队测试研究：一个语言模型生成提示，试图让目标模型产生有害输出。例子包括冒犯性语言、私人信息泄露以及对不同群体的不平等待遇。这类测试是发现问题的一种方式，并不能完整保证安全。

OpenAI 表示，希望在安全的情况下分享对齐研究，并透明说明其技术的效果。我欢迎对该领域投入关注和资源，但也质疑如果系统本身仍不公开，外界如何评估工具和方法。分享研究与公开模型权重是两种不同的选择。

我还担心一种假设中的未来超级智能：人类可能无法识别或理解它，就像鱼不知道鱼缸之外的世界。这是一种推测性的风险，并非此类系统已经存在的证据。不确定性让这个时期既令人兴奋，也令人不安。