Miles Brundage 谈离开 OpenAI 与为 AGI 做准备

Matthew Berman 解读即将离开 OpenAI 的政策研究员 Miles Brundage 在 2024 年 10 月发表的一篇文章。Brundage 写道，前沿实验室和世界都尚未为 AGI 做好准备。他曾在牛津从事政策研究，随后在 OpenAI 工作六年，最近担任 AGI 准备工作高级顾问。

Brundage 说，他将自己的职业生涯投入到确保 AGI 造福人类这一广泛目标中。用他自己的话说，为 OpenAI 高管和董事会提供准备工作方面的建议，基本上是他梦想中的工作，因此离开是一个艰难的决定。

他说，他希望有更多时间处理横跨行业的问题，获得更多发表自由和更大独立性。当时他计划创建一家非营利组织或加入现有机构，同时仍表示，对适应 OpenAI 文化的人而言，这是一处令人兴奋的工作场所。

Brundage 回顾了自己在 OpenAI 的职位，从政策研究科学家到政策研究负责人，再到 AGI 准备工作高级顾问。他认为，在行业之外能更有效地影响 AI 的发展，也能研究一些重要议题，而现有职责让他几乎没有时间处理这些议题。

Berman 结合 OpenAI 对产品的重视和其他人的离职来解读这一决定。Brundage 本人的说法更具体：他承认行业中某些发表限制是合理的，也曾帮助制定政策，但这些限制对他而言已变得过多。Berman 对其他员工离职原因的猜测，不能证明他们各自的动机。

Brundage 还希望外界认为他更加公正。在公司任职会影响他人如何看待研究者的言论，他相信独立身份能让他更容易以批判性眼光审视该机构及整个行业。

他区分了 OpenAI 负责任地管理日益强大系统的准备程度，与世界管理这些系统的准备程度。他说自己已向高管和董事会指出前者存在的缺口，并预计在外部处理后者会更有效，尽管离开公司可能意味着更难获得内部信息。

Brundage 认为，OpenAI 和其他前沿实验室都尚未为 AGI 做好准备，社会也一样。他说，他不认为这一判断在 OpenAI 的领导层中有争议。关键是，他将当时的准备程度与另一个问题区分开来：在真正需要时，各机构是否可能已经做好准备。

Berman 回顾 Brundage 此前对 AI 治理不同方面所作的评分。这些是研究者在视频发布约一年前的判断，并非标准化衡量或最新的成绩单。

在那次评估中，人们对 AI 收益与风险的共同认识获得 B−，监管基础设施获得 C+，同时他呼吁开展更多技术工作。Brundage 按照严格标准将正当性评为 D+，认为需要更多公众参与和机构信任。

在这份历史评估中，社会韧性得了 F。Berman 将其与深度伪造联系起来，指出随着媒体形式和服务提供商变化，维持来源追溯或水印机制十分困难。Brundage 还将差异化技术发展评为 D+；Berman 将其解读为担心仅靠市场激励可能无法充分支持安全工作。

Berman 指出，AGI 没有一个普遍接受的单一定义，并介绍与 OpenAI 有关的五级框架：对话系统、推理系统、智能体、能够创新的系统，以及能完成组织工作的系统。他认为 2024 年的模型接近前两个类别；这是他的判断，并非独立认证。

他将后面的级别描述为自主性不断增强的智能体、能够创新或改进自身的系统，以及组织级 AI。Berman 将自我改进与智能爆炸的可能性联系起来，但这些阶段及其间的转变只是概念框架，并非已证实的发展轨迹或时间表。

尽管选择离开，Brundage 说，在 OpenAI 工作仍可能让具备合适技能并认同使命的人产生重大影响。他敦促员工认真看待自己的行为和言论如何塑造公司文化，以及公司处理更先进能力时这些行为可能带来的持久后果。

对于下一步，Brundage 预计会结合 AI 政策研究和倡导工作，细节仍有待确定。他邀请潜在合作者联系，而没有声称自己已经成立了新组织。

Brundage 对 AI 政策讨论两极化感到遗憾：不同阵营分别强调收益或风险。Berman 将其解读为对“加速还是暂停”二元对立的批评，并表示自己对 AI 持乐观态度，同时也认识到事情可能出错。

Berman 认为自己更接近加速派，并认为 AI 可能极大造福人类。文章中呈现的 Brundage 观点是，AI 和 AGI 的收益不会自动实现：政府、公司、非营利组织和公民社会必须在公共讨论的基础上有意识地作出选择。

Brundage 认为，这项责任不仅包括降低风险，还包括公平分配收益，正如社会必须考虑人们获取电力和医疗的机会。Berman 同意公平获取的重要性，尤其是在能力最强的系统变得昂贵的情况下。

Berman 回顾加州州长 Gavin Newsom 否决 SB 1047，并解释自己为何反对与固定门槛挂钩的监管。他担心技术变化可能超越只关注模型原始训练规模的规则。被否决的法案使用了算力和成本标准，并包括针对某些微调模型的条款；Berman 提到的参数数量门槛不应当作该法案的定义。

Berman 举例说，较小的模型可能通过在推理时使用更多算力获得更强的表现。Brundage 同样认为，关于算力治理的公共分析落后于行业发展，扩大推理规模而非仅扩大训练规模也能提升性能。这并不能证明所有基于训练的规则都会因此失效。

Brundage 呼吁增加对美国 AI 安全研究所和工业与安全局的资金支持，包括增强了解先进芯片出口后流向的能力。他也支持利用现有法律授权采取行动，并关注包括《欧盟 AI 法案》在内的已通过立法如何实施。

Berman 对《欧盟 AI 法案》及其对创新的影响表示怀疑。他说自己没有读过太多 Brundage 更广泛的政策研究，因此他的描述是对这篇特定文章的解读，并非 Brundage 监管提案的完整说明。

Brundage 认为，私人利益与社会利益可能不一致，因此公司和政府默认情况下未必会给予安全足够重视。他还看到可信承诺的问题：竞争者可能怀疑别人会偷工减料，却难以验证系统的实际安全性。

Berman 解释了由此产生的挑战：机构如何在不暴露敏感或可能被滥用的知识产权的情况下证明安全？Brundage 将其比作在保护机密信息的同时验证军控承诺的困难。

Brundage 推测，未来几年 AI 带来的经济增长最终可能使人们提前退休并维持较高生活水平。他同时担心，远程任务自动化可能打乱迫切希望找到工作的人所拥有的机会。时间表和任何收益的分配方式都存在不确定性。

他认为，减少人们为了谋生而必须工作的义务，是开发 AI 和 AGI 的一个潜在长期理由。Berman 对这种可能性感到兴奋，同时承认一个人们不必工作的社会会带来更多问题，他没有详细展开。

Brundage 预测，随着公司为愿意付费的客户投入更多测试时算力，免费和付费 AI 能力之间的差距可能扩大。他指出，2024 年曾有一小段时间，免费和付费用户都能使用 GPT-4o，只是使用频率限制不同。差距扩大是他的预测，并非必然结果。

Berman 预计会出现能力越来越强的低成本或开放权重模型，并以 Meta 为例，但他也认识到增加推理需要硬件和电力。获得模型权重并不能消除运行成本；最终的经济状况和使用机会如何分配，仍是开放问题。

Brundage 认为，许多“AI 向善”领域的工作初衷良好，但公民社会和政府中的技术专长支持不足。他还认为计算硬件值得作为治理重点，因为它可以衡量，而且由高度集中的供应链生产。

他担心负责监督出口算力的政府机构缺乏资源，政策讨论也落后于技术发展。Berman 再次指出，推理规模扩展使仅关注训练的治理方法更加复杂。

Brundage 呼吁制定更广泛的 AI 战略，权衡去中心化开发的利弊。他询问，在有或没有国际协议的情况下哪些政策是合理的，以及在当下主要由市场主导的方法与将研究国有化或国际化之间还有哪些选择。

他还问，如何超越简单的“加速还是暂停”之争，认真讨论合适的进步速度。Berman 将这些呈现为研究和政策问题，而非已经确定的方案。

最后，Brundage 说 OpenAI 为他未来的工作提出提供资金、API 额度和提前使用模型的机会，而且这些支持不附带发表前审查。他尚未决定是否接受，因为即使是有帮助的支持，也可能影响实际或外界感知到的独立性。Berman 对这一提议表示欢迎，并以邀请观众发表看法作结。