Shane Legg 谈 AGI 定义、安全与工作的未来

在 2025 年 12 月的 Google DeepMind 播客中，Hannah Fry 询问联合创始人兼首席 AGI 科学家 Shane Legg 如何定义通用人工智能，以及其发展可能意味着什么。他的时间表和社会预测是观点，并非已确定的结果。

Legg 将最低水平 AGI 称为能够完成普通人通常能完成的各类认知任务的人工智能体。他认为当时系统能力令人印象深刻，但仍有重要缺口，因此尚未达到该门槛。

他指出，系统语言能力和广泛知识很强，但可靠性与视觉推理仍有弱点。模型可能在回答其他困难问题时表现出色，却忽略图像透视的含义。

Legg 预计弥补大量长尾弱点需要多个领域的工作。他提到更好的数据、学习方法和记忆机制可能有所帮助，而没有提出一种确定有效的解决方案。

他区分最低水平 AGI 与更强的“完整 AGI”：后者能够匹配更广泛的卓越人类认知成就。他用人工超级智能描述超越人类认知的能力，同时承认这些定义存在争议。

Legg 回忆，自己曾帮助推广 AGI 一词，用来指代能力广泛的思考机器这一较早的研究目标，而不是只专精单一任务的系统。他也指出该术语此前已有使用。

他说，不同群体用 AGI 指代不同的能力门槛、经济影响或系统类型。缺少共同定义时，看似冲突的时间预测可能谈论的是不同事物。

Fry 提到其他测试，例如在陌生厨房中完成任务或赚钱。Legg 更倾向于使用广泛的认知评估，而不是依赖一个戏剧性的挑战。

按照他提出的门槛，即使系统在其他领域表现出色，在普通认知任务上的失败仍然重要。他希望通过大量测试和对抗性尝试发现缺口，同时任何有限测试集都有局限。

Legg 认为，人们未来可能不再那么关注 AGI 标签，而更关注具体系统能做什么。在此之前，他认为多维能力评估有助于同时理解优势和弱点。

Fry 问 AI 能否对自己的行动进行伦理推理。Legg 说这一问题尚未解决，并介绍一个研究方向：让系统推理情境、可能行动及其后果。

他将僵硬规则与考虑情境的推理作对比：规则通常有用，但在特殊情况下可能与另一项义务冲突。他认为系统需要推理这类取舍，而不是机械套用口号。

Fry 问，当不同人和文化的价值观不同时，机器如何建立在人类伦理之上。Legg 承认这种分歧，并把从人类反馈和经验中学习视为挑战的一部分。

谈到安全，他主张采用多层措施：测试、监控、可解释性和对现实交互的控制。他说，没有单一方法能让复杂系统绝对安全。

讨论涉及意外伤害与有意有害行为的区别，以及是否应在系统达到安全门槛前限制部署。Legg 认为这是困难的判断。

他介绍对危险能力的评估，包括网络攻击能力，并表示严重风险可能导致不发布模型。这里记录的是他所描述的流程，并非对某次发布的审计。

Fry 问到 AI 意识。Legg 说目前没有公认答案，并设想未来系统可能引发关于其是否具有主观体验的分歧。系统会谈论意识本身并不能解决这一问题。

两人讨论，如果实现完整 AGI，它可能多快发展出超越人类的能力。Legg 说，这种转变的速度是重大开放问题，而非已经知道的时间表。

Legg 从能耗、记忆和通信速度等方面比较生物与人工系统。他认为物理差异可能让机器在某些能力上超越人类，但具体后果仍不确定。

他说，能力极强的系统可能出现，因此需要研究安全推理和监督。单靠基准测试表现出色，无法回答系统在新情境中是否会恰当行动。

对话转向经济组织。Legg 认为，如果机器完成更多认知劳动，社会可能需要重新考虑工作、资源获取和财富分配的方式。

他希望计算机科学以外的研究人员，包括经济学家、法律工作者、心理学家和其他领域专家，审视各自的制度并为可能的变化做准备。

Fry 问发展过程中不均衡的冲击。Legg 假设某些软件任务所需人员减少，以此说明可能情形；这不是针对特定公司的测量预测。

他认为，完全通过电脑远程完成的工作，可能比需要实体到场的工作更直接地受到认知自动化影响。这只是有许多例外的经验判断，不能决定个人结果。

Legg 提醒不要假设当前限制会永远不变；Fry 则追问快速变化带来的适应困难。技术进展速度和对劳动的影响都存在不确定性。

他重提自己长期以来对最低水平 AGI 的时间预测，并表示更强形式可能还需要额外几年。这些是他的个人预测，取决于他采用的定义。

Fry 问这种前景是否令人感到悲观。Legg 强调物质更丰富的可能性，但表示社会必须思考如何分享收益，以及什么能让人们更好地生活。

他希望讨论涵盖哲学、经济学、心理学和伦理，而不只是技术能力。访谈最后邀请人们思考，随着系统进步，社会可能面临哪些选择。