AGI 时间表与 AI 安全承诺：2023 年的辩论

2023 年 11 月，我比较了关于通用人工智能的预测，以及英国 AI 安全峰会和美国政府的公告。观点范围体现的是不确定性，而不是关于未来的可靠共识。

DeepMind 联合创始人 Shane Legg 重申，他估计到 2028 年出现人类水平 AI 的概率为 50%。他预计模型在事实准确性和多模态方面的不足可以通过研究解决。50% 是概率判断，不是确定的期限。

讲解者引用 Sam Altman 的估计：完成 OpenAI 最初使命大约需要到 2030—2031 年，但误差范围很大。他还引用 Paul Christiano 对 AI 是否有能力建造假想的戴森球所作的更具推测性的概率估计，并区分具备能力和实际建造。

视频引用 Bill Gates 的看法：GPT-4 之后可能出现平台期，同时他承认存在不确定性。讲解者不同意，并指出工具、多模态、推理和上下文可能有所改善。双方观点都发表在 2023 年。

讲解者概述 2023 年美国行政令及其针对大型训练运行的报告门槛。他提到对使用算力作为监管代理指标的批评：系统影响和风险不一定只由训练算力决定。这是当时对行政令的讨论，不代表现行法律。

在布莱切利峰会上，各公司被要求说明如何管理能力不断增强的模型所带来的风险。讲解者指出，OpenAI 强调能力既可以通过规模提升，也可以通过算法改进，这使仅基于算力的政策更加复杂。

他提到把语言模型用于芯片设计工作的研究，以及 NVIDIA 高管希望保留人工监督的观点。他把 AI 辅助研究描述为未来方向，而不是已经实现自主自我改进的证据。

视频比较各公司的安全承诺。讲解者解读 Anthropic 对较高风险系统所述的条件，并质疑如何证明绝对标准已经得到满足。他还比较 OpenAI、Amazon、Meta 和其他公司如何描述评估与部署决策。

他讨论关于 AI 与普通搜索相比是否改变危险信息获取方式的研究和分歧。他强调，拥有信息与实际实施有害行为不同，同时认为工具使用可能改变未来风险。这些是有争议的评估，并非已经确定的结果。

讲解者将 Google DeepMind 所述方法描述为权衡收益与风险，并在训练期间监控模型表现。他把这与其他公司所述门槛相比较，而不是把各家政策视为相同。

他欢迎《布莱切利宣言》同时承认机会和潜在严重风险，也支持国际参与和协调。他的乐观是对峰会过程的看法，并不能证明达成共识就消除了风险。

视频介绍表征工程研究：研究者识别与某些概念相关的激活方向，并利用它们影响模型行为。讲解者称自己的解释过于简化，并讨论服从行为中可能有益和有害的变化。

他还提到一篇测试提示词中情绪化语言的论文，该论文报告某些任务有所改善。这是所报告的实验结果，并不能保证情绪化措辞对每个模型或问题都有帮助。

讲解者最后呼吁在 AI 安全领域获得更好的数据并开展更多实验。他引用一种乐观看法：持不同观点的参与者可能比公开争论所呈现的拥有更多共同点。