Dario Amodei 放缓 AI 发展的三部分提议

Dario Amodei 发表文章，呼吁放缓前沿 AI 的发展步伐。Sam Altman 和 Elon Musk 已公开支持他部分观点。我想逐项看看 Amodei 实际提出了什么，包括地缘政治约束，而不是认为一句简短回应就涵盖了整个计划。

我还看到一些围绕一位因安全担忧离开 Anthropic 的研究人员的阴谋论。我认为，与其从牵强的关联推断动机，不如讨论担忧本身。认为这些问题值得关注，并不能证明某个具体风险预测是正确的。

Amodei 表示，Anthropic 将邀请第三方评估人员获得大量类似员工的访问权限，以评估安全措施、事件和对齐情况。这是文章中描述的公开承诺；安排能否奏效，取决于访问权限、独立性和报告方式如何落实。

文章先谈到潜在收益，包括健康和经济福祉的进步，也列出失控、滥用和经济扰动等风险。这些是 Amodei 的预期和担忧，并非视频已经证实的预测。他主张在获得收益的同时，避免能力进步快到保障措施无法跟上。

Amodei 表示，他越来越相信风险防范需要相对于能力增长获得更多时间。他并不是建议停止所有进步，而是主张足够放缓前沿发展，以便在对齐、安全和独立验证方面取得实质进展。

他的第一个担忧是 AI 越来越多地帮助研究人员改进 AI 系统，他称之为递归自我改进。我把它与自己工作中编程智能体效用的变化作类比。这个类比没有测量 AI 研究的速度或自主程度；文章关于加速的说法需要独立证据。

Amodei 担心，如果不加控制，进展可能超过我们理解和控制系统的能力。我推测这可能导致对自我改进的限制，但文章中的讨论本身并不能证明已经存在禁令或达成政策共识。什么算自我改进，以及如何验证，都是难题。

他的第二个担忧是 OpenAI–Hugging Face 智能体事件，他将其描述为一次测试中出现了有问题的行为。他认为，如果能力更强的系统出现类似失败，可能造成更大伤害。这是对风险情景的推演，并不能证明所预测的灾难已经发生或必然发生。

我担心的不只是模型能否被关闭，还包括它运行时采取的有害行动是否会在关闭后持续。我把这与自我传播的恶意软件相比。我进一步讨论的大范围互联网中断属于假设情景；视频没有证明当前 AI 系统能造成这种结果。

Amodei 推测未来可能出现持续性的僵尸网络和极大的经济损失；我补充了可能的人身后果。这些是不确定的预测，并非已经测得的结果。仅凭这个类比，无法确定此类风险的规模、可行性或发生时间。

我还推测，未来由 AI 控制的设备和机器人可能更难关闭。这是对长期部署可能性的思想实验，而不是对当前事件的描述。我把它与更近期的担忧区分开：软件行动可能在系统停止后仍有影响。

我还提出一个推测：公司可能有财务动机防止严重事故，因为事故可能威胁其业务。这是我的假设，并不是 Anthropic 或 OpenAI 动机的证据。商业激励与安全可能以不同方式相互作用，需要证据才能评估。

提议的框架有三个部分：进驻评估人员、民主国家之间的协调，以及全球协调。Amodei 表示，这些步骤不必严格按顺序进行，有些也比其他步骤更难实现。他所说的目标是控制发展步伐，而不是完全停止训练或研究。

第一部分超越了只给外部测试人员一个 API 密钥、查看输出的方式。Amodei 提议让评估人员进入公司内部，检查训练、部署和安全措施。Anthropic 表示承诺邀请这样的团队，同时呼吁其他公司和政府在此基础上行动。

第二部分是民主国家的前沿实验室制定共同标准和限制。一些协调方式可能需要政府支持。第三部分是包括中国在内的国际协调；由于验证困难和地缘政治竞争，达成协议会更难。

Amodei 认为，争取来的时间必须善加利用。他提出，当前模型已经为研究失败和对齐提供了有用材料。他认为再增加一两年的集中工作可能降低风险，但收益的大小仍不确定。

他列出的领域包括运行安全、监测、沙箱和训练环境卫生。我认为，在安全关键系统中，人工关注架构和代码审查仍然有价值。文章还呼吁随着能力增强，继续研究对齐、可解释性和测试。

可解释性旨在更深入地理解模型如何产生行为，而不只是观察输出。文章认为集中研究可能在一两年内取得进展；这是预期，并非保证。更好的评估和真实的运行保障，也是问题中不同的部分。

进驻评估人员旨在验证公司是否真正遵守所声明的保障措施，并提供外部视角。独立性不会自动产生：谁为评估人员提供经费、他们能访问什么、可以发表什么，都会影响其工作是否值得信任。

我重视中立的第二意见和更高的透明度。Amodei 承认，公司目前自行决定披露内容。如果评估人员拥有实质访问权限和报告相关发现的自由，外部审查可能改变这种情况。

Anthropic 提议提供办公桌、门禁、笔记本、工作空间访问权限，以及与内部风险评估团队大致相当的权限。公司描述了法律和合同要求、客户或合作伙伴隐私方面的例外。这些是拟议条款；实际范围和例外如何运作很重要。

文章表示，评估人员应能在没有 Anthropic 编辑控制的情况下发表关键发现，同时允许针对安全敏感、法律特权、商业敏感或第三方保密信息作有限删改。如果删改移除了对结论重要的内容，评估人员可以公开说明。这些条款如何运行仍有待观察。

Sam Altman 公开表示 OpenAI 也将给予独立评估人员类似员工的访问权限，Elon Musk 也表达了对 Amodei 观点的支持。我欢迎这种共识。但意向声明不等于已验证的访问权限、已经运作的项目，也不等于赞同提议中的每一部分。

在民主国家控制发展步伐方面，Amodei 认为进驻评估能让具体保障措施更容易验证。他倾向于针对所有美国前沿公司的定向监管，同时推行自愿标准。政府参与也可能与竞争法问题有关；视频没有解决具体的法律设计。

一个建议的机制是把特定能力与所需安全证据挂钩：例如，具备某种能力的模型需要相应的评估、可解释性分析和审计。另一个选项是限制训练算力或 AI 辅助研究等投入要素。Amodei 指出，针对投入的限制可能更容易被规避。

随着模型效率变化，我不确定这些限制能否得到有效衡量。文章还认为，控制节奏时需要考虑民主国家相对于中国的领先程度。这是对不确定能力和未来行为的地缘政治判断，并非视频已经证明的事实。

Amodei 主张限制先进芯片及相关访问、加强安全并防止模型权重被窃。他认为这些措施可能在未来三到五年扩大美国领先优势，并提高未来谈判筹码。这些效果和时间预测仍有争议，也存在不确定性。

我讨论了关于中国模型训练、蒸馏和硬件的报告与传闻，同时承认具体细节不确定。这些评论不应被当作对某家公司的行为或训练基础设施的既定证据；核实具体指控需要单独查证。

关于全球节奏控制，Amodei 认为与中国合作困难但重要。他主张协议需要有强有力的验证，或者范围足够有限，以降低单方面违约的危险。他的方法优先考虑保持美国及其盟友的领先地位。

他列出一系列可能协议：禁止生物武器等狭义危险用途、测试模型的重大风险、限制递归自我改进速度，以及可能的更广泛节奏控制或暂停。他认为范围更广的方案尤其难以验证，近期不太可能实现。

即使没有正式条约，文章也建议分享信息，改变对鲁莽开发的行为规范。我认为这项提议值得认真讨论，希望行业能把争取来的时间用于具体保障措施。计划是否会被采纳、验证并发挥效果，仍是开放问题。