Demis Hassabis 警惕没有人类审查的 AI 自我改进

Demis Hassabis 说，更稳健的工程可以应对近期一些网络安全事件。他警告说，没有人类审查的闭环递归自我改进，将是通向先进 AI 的一种尤其危险的途径。

Reid Hoffman 问 AI 如何改善医学和人类健康。Hassabis 说，推动科学和医学进步一直是其工作的核心，包括 AlphaFold 和药物研发公司 Isomorphic Labs。

Hoffman 问蛋白质折叠预测如何转化为药物。Hassabis 说，蛋白质的三维结构能帮助研究人员理解生物机制及药物可能结合的位置，但这只是完整药物发现过程的一部分。

Hassabis 说，AlphaFold 加快了这一环节，已有数百万研究人员使用。他说，还需要预测毒性、化合物在人体内的表现等其他性质，才能研制出既安全又有效的药物。

谈到递归自我改进，Hassabis 说，它在结果可验证的领域最有效，例如游戏、数学和编程。他介绍 AlphaZero 如何通过与自己对弈来训练后续版本，而不依赖人类棋局数据。

他回忆看到 AlphaZero 在一天内从随机下棋发展到超过已有棋类系统。结果可以验证，便能生成并检查大量合成训练数据；无法验证的数据则可能不可靠。

Hassabis 将当前 AI 编程描述为自我改进的早期辅助形式：工程师的效率可能提高数倍，但人仍在审查和设计代码。他认为把人类审查从循环中移除会增加重大风险。

他说，闭环可能运行得更快，但人类如何保持控制或理解最终系统并不明确。尽管改进编程系统的竞争压力很大，他仍呼吁谨慎。

Hoffman 问领先实验室在竞争压力下应该做什么。Hassabis 建议让可信防守者更早获得更强的防御工具，加固沙箱并监控智能体，避免它们长时间无人察觉地运行。

Hassabis 警告，如果不投入更多资源并改进工程，可能发生类似漏油事故的意外事件。长期来看，他希望对安全边界提供更强保证，并测试防护措施对多个相互作用的智能体是否仍然有效。

Hoffman 问实验室如何合作。Hassabis 提议建立由行业主导、政府监督的标准组织，最终可以走向国际，同时承认地缘政治和制度障碍。

他认为近期行业协议是一个开始，但做得还不够，也没有详细说明行动。他希望协议使团队能够交流基准、安全实践和潜在失效模式方面的工作。

Hassabis 认为，各方可能同意独立评估和第三方审计，也可以让实验室在发布前相互测试系统。他将评估生态与其他行业的审计作比较。

Hoffman 转向 AI 意识，询问如何超越聊天机器人声称自己有意识这一表面现象。Hassabis 说，意识没有公认定义，仅凭行为很难判断，尤其是 AI 与人类并不共享相同的生物基础。

他主张当前应构建智能工具，而不是刻意创造有意识的实体。第一个原因是技术安全：如果系统根据内部规则拒绝指令，一旦规则未覆盖某种情况，系统可能更难被纠正或关闭。

Hassabis 说，如今的模型或许比多年前一些人预想的更容易引导，但这不意味着未来系统的对齐问题已经解决。在他看来，自主行为与递归自我改进结合可能加剧风险。

第二个原因是社会层面。他说，社会尚未展开足够广泛的讨论，让哲学家、艺术家、神学家和不同文化背景的人参与，决定是否应该创造可能具有道德地位的系统。

他建议先建立有用的智能工具，用它们推动神经科学，然后讨论是否以及如何创造有意识的实体。他估计，加深相关理解可能需要五到十年。

Hassabis 认为智能和意识可以分开。他说，自己不认为当前 AI 系统有意识，但认为某些动物可能有意识，即便没有达到人类水平的智能。

谈到 AI 主权，Hassabis 预计会有大约六到八种前沿或接近前沿的产品，包括中国公司提供的产品，领先者可能交替变化。他说，企业可以在不同强项的系统之间选择。

他说，开放模型是另一种选择，尤其适合需要控制敏感数据的组织或国家。他也认为，如何限制恶意使用同时保留有益用途的访问权限，仍是未解决的问题。

Hassabis 不建议每个国家都自行建立前沿模型。他建议利用现有模型作为基础，在医疗等下游领域创造价值，并与供应商达成合作安排。

Hoffman 最后说，AI 时代的自主行动不仅属于个人，也属于集体。他呼吁各国合作，建立造福人类的系统。