Sam Altman 谈 AGI 与超级智能：2025 年的一场讨论

Sam Altman 写道，OpenAI 有信心知道如何构建 AGI，并开始将注意力转向超级智能。在这段 2025 年初的视频中，我想解读这一表态、他最近关于奇点的帖子，以及 AI 起飞可能意味着什么。

Altman 发布了一则短故事，称接近奇点但不知道处于哪一侧。我将奇点视为一个假设时刻：技术变化加速到其后果难以预测。Ray Kurzweil 曾讨论 2045 年这一可能日期；我认为可能更早到来，但这些日期都没有得到确定。

如果 AI 能参与自身研究，快速反馈循环可能引发智能爆炸，但这是一种设想。今天的模型仍难以完全解释，尽管可解释性研究正在进展。我认为，如果系统超出我们理解的能力，对齐问题将尤其重要。

Altman 后来表示，他的帖子既可以指模拟假说，也可以指难以确定起飞的关键时刻。模拟假说询问我们的世界是否是人工模拟的。我个人认为这个想法有可能，但它仍是推测；模拟可能存在的论证不能证明我们生活在模拟中。

我回顾 OpenAI 在 2023 年关于 AGI 规划的讨论。文章提出较慢的起飞可能更容易保证安全，在关键节点协调可以给社会适应的时间。距离 AGI 出现的时间与此后变化的速度是两个不同的不确定因素；时间线短本身并不能决定起飞速度。

Altman 随后的回顾追溯了 OpenAI 的历程，包括 ChatGPT 在 2022 年 11 月的发布。我还提到 o1 和 o3 等模型，它们在困难问题上使用更多推理时计算。我认为这些进展代表新的推理范式，但未来进展仍不确定。

Altman 说 OpenAI 有信心知道如何按传统理解构建 AGI。我根据基准结果认为 o3 已经是 AGI，同时承认 OpenAI 并未如此称呼它。这是我的解释：基准成绩本身不能解决存在争议的定义，也不能证明通用智能。

Altman 预测 AI 智能体可能在 2025 年开始进入职场，显著改变公司产出。我也持类似期待，认为最初的应用会比较专门化。他还将超级智能描述为更长期的目标，认为它可能加速科学并增加繁荣。这些是当时的预测和愿景，而非已经证明的结果。

我再次讨论智能爆炸情景：AI 帮助自动化 AI 研究，从而加快进一步的改进。我讨论算力和推理成本，并以 Sakana AI 早期的 AI Scientist 工作作为研究自动化的例子。这类早期系统有局限，并不能证明自主递归超级智能即将出现。

最后，我提到一位 OpenAI 对齐研究人员对政治、社会关系、市场和日常生活可能受到影响的担忧。我认为这些潜在影响值得认真讨论。变化是否发生以及如何发生仍不确定，收益与危害都需要关注。