自然有结构：Demis Hassabis 谈可学习的现实与 AGI

Demis Hassabis 十几岁在英国游戏行业工作时，编写过物理引擎和图形引擎，后来他说那是极其吃力的工作。要让程序模拟一种清澈的液体被液压机挤压的过程，就得手工编写表面张力、折射和本构方程。如今他执掌谷歌 DeepMind，而用 YouTube 视频训练出来的 Veo 3 能生成同样的画面。他对 Lex Fridman 说，他很喜欢看这些画面，因为只有他还记得过去那些夜晚有多痛苦。

这种反差，正是他悄悄带进诺贝尔奖演讲里的东西。他觉得，诺贝尔奖的演讲向来带点挑衅意味，于是他提出一个猜想：自然界中能生成或存在的任何模式，都能被一种经典学习算法高效地发现并建模。AlphaGo 和 AlphaFold 就是例证。围棋的可能局面大约有 10 的 170 次方种；蛋白质可能的结构大约有 10 的 300 次方种。两个数字都远超宇宙中的原子总数。穷举式的暴力搜索，在宇宙热寂之前也算不完。

让这些问题变得可解的，是一个能引导搜索的环境模型。蛋白质在体内几毫秒就能折叠完成，这意味着物理过程早已解决了 DeepMind 后来才用计算解决的问题。Hassabis 的解释是，自然系统之所以有结构，是因为它们被进化过程塑造过。他有时把这叫作“最稳者生存”：不光是达尔文式的生命，还包括被千年风化的山脉、被碰撞敲打成形的小行星，以及被引力扰动筛选过的行星轨道。能留存下来的东西，都经受过无数次作用，因此它不是随机的模式。神经网络可以沿着这样一个流形（manifold）前进。

这个猜想的逆命题同样重要。如果一个问题没有可以利用的纹理，AlphaGo 那一招就会失效。大数分解可能就是这样的例子：如果数的空间是均匀的，就没有可以学习的模型，只剩暴力搜索，也许真的需要量子计算机。Hassabis 认为，我们关心的大多数自然系统都不是这样。Lex Fridman 问，这是否值得一个新的复杂性类，比如“可学习的自然系统”。Hassabis 说，他和几位同事利用业余时间已经在探索：神经网络方法能否定义出一类问题，这类问题对应于有结构的物理系统。

接着他说得更远。他认为信息是宇宙最基本的单位，比能量和物质更基础：能量和物质可以相互转换，但都可以被看作信息的形式。如果宇宙是一个信息系统，P 与 NP 问题就不再只是计算机科学的谜题，而变成了物理学问题。他把它列为我们拥有的最基本的问题之一。他说，“先建模、再搜索”这种范式已经表明，经典图灵机（Turing machine）走得比十年或二十年前许多人猜想的更远：它们能折叠蛋白质，能以超人水平下围棋，而这些任务曾被认为需要量子硬件。

他并没有把话说满。元胞自动机和大多数涌现系统大概都落在可建模的范围之内，通常只要向前模拟就行。混沌系统的初始条件起决定性作用，终态与起点几乎不相关，它们可能是那道硬边界。流体力学和纳维–斯托克斯方程向来吞掉了海量的经典算力，但 Veo 已经能相当出色地模拟液体、材料和镜面光照。Hassabis 把这看作宇宙结构的证据，也看作他想要 AGI 的原因之一：帮助科学家回答 P 与 NP 这类问题。

Fridman 对 Veo 的兴趣，与其说在它那些网络梗和超写实的人脸，不如说在它的物理。对扩散模型的犬儒式看法是：它们什么都不懂。Hassabis 的回答是操作性的：只要系统能连贯地预测接下来的画面，这本身就是一种理解，但它算不上深刻的哲学把握。模型已经掌握了足够的动力学，能生成大约八秒钟、一眼看去几乎挑不出毛病的连贯视频。他把这种能力比作孩子的直观物理，而不是博士生拆解方程的能力。孩子知道球会落下，水会流动，玻璃会碎。Veo 3 似乎就活在这一层。

五到十年前，Hassabis 大概会同意神经科学里的一个主流观点：感知中包含行动。要真正理解世界，就必须在世界里行动。具身智能、机器人学，或者至少是模拟中的行动，看起来都是常识的前提，比如知道一只被推下桌子的杯子会摔碎、洒出水来。Veo 3 让这一点显得没那么必要：它只看了视频，却仍然提取出了关于材料和运动的可用模型。如果被动观察就足够，那就再次暗示，现实本身可能存在一个低维的流形。

下一步，尤其是考虑到他的游戏背景，是让这些视频变得可交互：走进生成的世界，四处走动，推动东西，改变它。他说，这开始像一个世界模型，即关于世界如何运作的模型，包括它的机制、物理规律以及其中的事物。而真正的 AGI 系统正需要这样的东西。有人在 X 上问“可玩的世界模型什么时候来？”，Hassabis 转发时评论道：“那就太棒了。”

游戏是 Hassabis 的初恋，也是他十几岁时第一份与 AI 相关的专业工作。他做过的几乎每款游戏都是开放世界：有模拟系统，有 AI 角色，有会互动的玩家，还有会随之变化的世界。在《Theme Park》里，每位玩家的体验都是独一无二的，因为玩家在与模拟系统共同创作。DeepMind 设定参数和初始条件，故事则是一起写出来的。《黑与白》（Black & White）他在早期参与过，里面有一套早期的强化学习系统。你养育一只神兽，它对待村民的方式就像你对待它一样：你刻薄，它就凶狠；你仁慈，它就护着人。

1990 年代的限制在于内容。玩家走到哪里，哪里就得有点好东西等着。元胞自动机之类的经典手法能产生一些涌现，但既脆弱又有限。Hassabis 认为，拐点已经很近。五到十年内，AI 系统应该能够顺着玩家的想象生成内容，实时改写叙事，并且无论走哪条路，故事都保持戏剧张力：这就是终极版的“选择你自己的冒险”。Fridman 提出一个区分，Hassabis 接受了。《The Stanley Parable》把“选择的幻觉”本身当作主题。《Daggerfall》（“上古卷轴”系列）用随机生成的地下城来营造无限感，但它本质上仍是一袋预先写好的分支。Hassabis 想要的是一个你理论上可以做任何事的世界，而他认为通往那里的唯一途径是生成式系统。你不可能发行无限量的 3A 大作资产。

他一生最喜欢的游戏是《Civilization I》和《Civilization II》。后来的几代他基本不碰，因为它们会吞掉他整个假期。被问到他和同样是重度玩家的马斯克是否有更深的联系时，他提到 1980 年代末英国的家用电脑时代：先是 Spectrum，然后是他最喜欢的机器 Commodore Amiga 500。那时候，写游戏就是最有趣的学习方式。游戏把艺术和当年最前沿的编程融合在一起。图形、物理引擎、AI、硬件，甚至 GPU，都是先被游戏推动起来的。如果他哪天有了空闲时间，他最想做的就是凭感觉编程（vibe coding）做一款游戏；等 AGI 安全交付之后，这款游戏和一套物理理论将是他的两个后 AGI 项目。在他看来它们是相关的，因为这款游戏会是对现实本身的开放世界模拟。

AlphaEvolve 是谷歌 DeepMind 的一个系统，得到的关注仍比 Hassabis 认为它应得的少。它用大语言模型（LLM）提出候选解，再用进化计算在搜索空间中寻找新的区域。他把它归为混合系统：一个基础模型，加上另一种计算技术。蒙特卡洛树搜索也是这样的附加组件，正是它找到了第 37 手（Move 37），那是从未有人见过的围棋策略。模型捕捉的是已知的东西，搜索则是让人超越已知的办法，而这正是关于创造力、科学发现和医学的故事的开端。

经典进化算法在 1990 年代和 2000 年代初受到大量研究，但很快碰到了天花板：它们无法演化出真正全新的性质。投进去什么，最后只能得到子集和重组。自然做得更好：细菌变成了我们。Hassabis 认为，把进化嫁接到基础模型上，也许能突破这道旧限制。他也划了一条界线。AlphaEvolve 擅长朝着一个明确的目标逐步爬坡，比如让矩阵乘法更快。但如果给它一个模糊的高层指令，比如“做一个比你自己更好的版本”，或者“发明一款和围棋一样深刻、优美的游戏”，它目前还不知道怎样把这个提示收窄。在他看来，今天这样的系统不太可能在 2017 年发明出 Transformer 架构。

这就是通往 AGI 的路分岔的原因。仅靠逐步爬坡够不够？是否还需要一两次架构级别的突破？他认为这是五五开。谷歌 DeepMind 两头下注，大约把一半资源投入前沿的探索性研究，另一半用于把现有能力推到极限。他觉得最难模仿的，是研究品味：嗅出正确的方向、正确的实验和正确的问题。提出一个配得上 Terence Tao 的猜想，比解开一道题更难。AlphaProof 在数学奥林匹克（Math Olympiad）上拿到了银牌，系统最终也许能攻克千禧年大奖难题（Millennium Prize problem），但提出一个能把假设空间一分为二、可证伪、又能用今天的工具去检验的问题，是另一种创造力。对模型做朴素的搜索是不够的。

Hassabis 的方法是先提出一个几乎不现实的目标，然后把它拆成若干中间步骤，每一步本身都可以实现、也都有用。虚拟细胞就是他研究了大约二十五年的课题。自 1990 年代起，他就和 Paul Nurse 讨论这件事。Nurse 是他的导师，创立了克里克研究所（Crick Institute），并于 2001 年获得诺贝尔奖。他们每五年重新审视一次这个问题：要模拟一个细胞的全部内部结构，需要什么？要让大部分搜索在计算机内（in silico）完成，只有验证环节留在湿实验室（wet lab）里。这个梦想大致是把实验速度提高约一百倍。他会从酵母开始，这是一种单细胞生物，它本身就是一个完整的生命体，而且研究得极为透彻，Nurse 研究的也正是它。

AlphaFold 解决的是蛋白质静态的三维结构。生物学中有意思的事件却是动态的。AlphaFold 3 是迈向相互作用的第一步：蛋白质与蛋白质、RNA 和 DNA 之间的相互作用。接下来也许是整条通路，比如与癌症有关的 TOR 通路，之后才是整个细胞。有两个技术难题挡在路上。细胞内的事件运行在差异极大的时钟上，从毫秒级的折叠到小时级的调控，所以大概需要多个模拟系统在不同时间尺度上相互作用，或者一个可以上下跳跃的层级结构。而且每一个自然模型都需要设定一个截断。对细胞而言，Hassabis 希望蛋白质这一层就够了，不必下探到原子。于是 AlphaFold 成为基础，更高层的模拟以这些结构为积木，直到涌现出行为为止。

被问到 AI 能否模拟生命的起源时，他推荐了 Nick Lane 的《The Ten Great Inventions of Evolution》，这本书也触及费米的“大过滤器”问题。Hassabis 认为，那道过滤器更可能已经被我们甩在身后，而不是还在前面：在地球上，从单细胞到多细胞的跨越用了大约十亿年，而细菌在吞并线粒体之前，也安于那种状态很久很久。虚拟细胞之后，一个后续项目也许是从热液喷口附近的原始化学汤出发，问问类细胞的东西能否涌现。让他始终困扰的，其实是定义问题。我们能把生物体细致到几乎原子的层面去观察，却仍然没有一条清晰的界线，把生命与非生命分开。Fridman 提出，也许根本没有这样一条线，只有一条从物理到化学再到生物学的连续谱。Hassabis 没有反驳。这个谜团也是他花了三十年研究 AI 的原因之一：AI 或许是回答它的终极工具。在这一过程中，DeepMind 的 WeatherNext 系统已经表明，即便是天气这种接近混沌的流体，神经网络也能比传统超级计算机的流体动力学模拟更好、更快地建模。

Hassabis 公开给出的估计是：到 2030 年，也就是未来五年内，实现 AGI 的概率为 50%。他的标准很高：要达到一个人脑的认知功能，而人脑本身已近似一台通用图灵机，并且建造了现代文明。今天的系统参差不齐，有些地方极其出色，有些地方又奇怪地失灵，而且不稳定。AGI 需要在人类认知的全谱系上保持一致。一个直截了当的测试是：人类能完成的数以万计的认知任务。另一个是人类红队测试（red-teaming）：把系统交给几百位全世界顶尖的专家，也就是每个领域的 Terence Tao，让他们用一两个月的时间去测，看看能否找到明显的漏洞。

他还想要灯塔式的时刻，即第 37 手那一类的跃迁，而不是排行榜上的一个分数。他提出一个思想实验：把知识截止到 1900 年，把当时写下的一切都喂给系统，看看它能否提出狭义和广义相对论。另一个标准是，它能否发明一款和围棋一样深刻、优美、精巧的游戏，而且不只局限在一个领域。如果同时做到几件这样的事，就是信号。Fridman 担心，专家会很快把奇迹视为理所当然，转而去找剩下的那点错误。Hassabis 承认这一点。他用国际象棋打了个比方：如果 Garry Kasparov 或 Magnus Carlsen 走出一步精彩的棋，Hassabis 可能永远想不到，但一个好的讲解者能说明它为什么成立。能把复杂的想法讲得简单，本身就是智能的一部分。如果人们的第一反应是这步棋是败着，那也会发生；直觉以及比赛中的胜负结果，都会追上来。他从四岁起就一直身处这样的反馈循环之中。

Fridman 在生成代码上也遇到过同样的紧张：第一反应是有什么细微的地方出了问题，接着是更难的问题：是我错了吗？这是 bug 还是特性？系统越强，这种自我怀疑的代价就越高。Hassabis 预计，人类会借助其他 AI 工具来检查输出，用独立于生成器的监控系统。至于递归自我改进，类似 AlphaEvolve 的循环原则上可以端到端地连起来，但他并不确定这是否可取，因为那看起来像一次硬起飞（hard takeoff）。目前的系统在目标不明确时仍然会失败：它们能在矩阵乘法上埋头苦干几天，却无法接受“发明一款和围棋一样好的游戏”或“做一个比你自己更好的版本”这样的指令，并把它变成可以执行的计划。

谈到规模定律（scaling law），Hassabis 看到三条曲线同时在走：预训练、后训练和推理时的算力。这三条都还有很大空间。是否需要新的突破，依然是五五开。他其实很喜欢地形变得更难，因为这样工作就会从纯粹的工程转向研究，而研究加工程正是 DeepMind 的强项。发明比快速跟随难得多。如果需要 AlphaGo 或 Transformer 那种级别的跃迁，他会押 DeepMind 来做。他估计，支撑现代 AI 的突破中，有 80% 到 90% 来自谷歌大脑、谷歌研究院和 DeepMind。至于数据，他并不太担心。真正的问题是：是否拥有足够的真实世界数据，去训练模拟器，再由模拟器按照正确的分布生成合成数据。他认为我们现在正处在这一步。

算力会继续增长，原因有几个。训练最大的模型需要集中部署的集群，所以即便是数据中心之间的带宽也很重要。被数十亿人使用的产品需要海量的推理。而思考型系统在测试时运行得越久，就会变得越聪明。训练甚至可能在总算力中占比越来越小。DeepMind 正在研发只用于推理的芯片，也在研发能帮助数据中心降温、优化电网的 AI，最终还要帮助控制聚变反应堆中的等离子体。这项工作已经与 Commonwealth Fusion 合作完成，还包括反应堆设计。在材料方面，新型太阳能化合物、室温超导体和最优电池，都在他梦想中的突破清单上。其中任何一项解决，对气候和能源都将是革命性的，而他认为，能够实质性地提供帮助的 AI 系统，也许只还有五年左右。

被问到未来二十到四十年人类的主要能源时，他押注聚变和太阳能。太阳能就是天上的聚变反应堆；瓶颈在于电池和输电，也许最终还要靠天基太阳能，乃至戴森球（Dyson sphere）级别的能量收集。只要反应堆设计正确，等离子体能被足够快地控制，聚变看起来就是可行的。便宜、清洁的能源会让其他一些稀缺性随之瓦解。海水淡化技术早已可行，只是成本高，所以只有像新加坡和以色列这样相对富裕的沿海国家在用。把海水分解成氢和氧，就得到了火箭燃料。再配上可重复使用的火箭，太空飞行就开始像公交车服务，背后还有小行星采矿。Hassabis 说，这将是我们第一次不再受资源约束。那将不再是零和的时代：这块地是我的，所以就不是你的；老虎占着森林，所以村子就挨饿。人性的弱点依然存在，但最大的冲突源头之一——稀缺——将会消失。下一个问题是公平分配。一百年后出现一个 Kardashev I 型文明，他不会太惊讶，前提是我们在途中没有毁掉自己。

Fridman 直截了当地说，一年前谷歌在大语言模型产品上还在落后，搭载 Gemini 1.5 时如此；而搭载 Gemini 2.5 时，谷歌已经领先。Hassabis 首先把功劳归于人和文化：由 Koray、Jeff Dean 和 Oriol 领导的团队，以及谷歌大脑与最初的 DeepMind 合并，把最好的人才和想法汇聚到一起。他把这种方法称为：不知疲倦地推进，加上不知疲倦地发布。大公司会长出层级、会议和管理者；他的应对是让谷歌 DeepMind 保持创业公司的做派：规模很大，决策却很快。很少有地方能做到周一做出世界级的研究，周二就把它接进被数十亿人使用的产品。那些不起眼的工作，是持续削减官僚主义，让研究的文化与发布的文化都能成长。很多人至今是通过搜索里的 AI 模式第一次接触 AI。对他们，他希望这种接触是无缝的，往往藏在地图或搜索的底层，而不是一场推特上的口水战。

Gemini 的产品和工程团队告诉 Fridman 一件 Hassabis 没料到的事：他不只是一位科学家，还是一位很强的产品人。他把这一点归因于 1990 年代为数百万玩家设计游戏的经历，那是把最前沿的技术装进消费级产品。这种能力与科学所需的是同一种：能身临其境地想象使用某个东西是什么感觉，还要有品味。你不能用今天的能力去设计今天的 AI 产品，必须为一年后的能力去设计。这意味着，你必须是一个技术功底很深的产品人，能判断研究路线会在六个月或十二个月内赶上那个梦想。今天这种文本框式的聊天，很可能只是一种过渡形态。等系统完全多模态化之后，这些界面会显得过时，更接近一种协作式的《少数派报告》式氛围，而不是一个提示框。即便你打字很快，打字也是低带宽的。智能眼镜、耳机，以及最终的神经设备，可能把输入和输出的带宽提高一百倍。他还预期，界面将由 AI 生成，并针对你的审美和大脑的工作方式做个性化调整：给高阶用户每一个旋钮，给其他人留白。

一次完整的 Gemini 训练加上产品化，大约需要六个月。在这段时间里，团队会收集架构、数据和其他方面的想法，测试哪些真正重要，打包整理，然后启动一次巨型英雄训练跑（hero run）。预训练之后，还有一个范围很广的后训练实验阶段，它仍然可能带来很大的收益。版本号通常指的是基础模型；像 2.5 这样的小版本迭代，往往是在同一架构上打补丁或做后训练技巧。Pro、Flash 和 Flash-Lite 覆盖的是性能、成本和延迟之间的帕累托前沿（Pareto frontier），其中较小的模型由较大的模型蒸馏而来。基准测试既必要，又危险。工作是多目标的：要做的是无遗憾的改进，即提升编程能力，同时不损害翻译、写作或科学推理。被监控的测试集一直在增长，而线上产品的信号和排行榜同样重要。更软性的是人设：啰嗦还是简洁，有趣还是严肃。Hassabis 在攻读博士时做过五因素人格研究，但没想到会在产品上用到。不同的人想要不同的口味。

被问到谷歌 DeepMind “赢”的概率时，他拒绝了这个框架。鉴于这项技术的影响如此重大，把它看成一场输赢并不对。站在最前沿的人，有责任安全地把它引入世界，造福人类，而他希望随着 AGI 越来越近，国际社会能够团结起来共同做这件事。他尽量与其他实验室的负责人保持良好关系，因为这些沟通渠道对安全至关重要。对于 Meta 那种大肆挖人的做法，他认为对一个目前落后的实验室来说是理性的；但在他看来，真正相信 AGI 的人，大多是为了站在前沿、影响它的落地方式。钱不是最根本的问题。2010 年，DeepMind 融资不足，他有两年时间没有领工资；而现在，一份实习生的 offer 就足以媲美当年整轮种子轮融资。AGI 之后，如果能源问题解决了，钱究竟意味着什么，将是比今天的薪水更大的问题。

编程和数学是最先被攻破的领域之一，如果你仍然把它们当作硬技能，这会显得反直觉。Hassabis 的理由很直接：它们的输出可以验证，所以能大规模地生成合成训练数据。对错有客观的检验标准，这一点不同于小说或战略。在未来五到十年里，与这些工具融为一体的人会变得几乎超人一般地高效。顶尖程序员的效率可能是今天的十倍，因为他们最擅长把工具推到极限、规定架构，并判断生成的代码到底好不好。编程变得更容易，也为更多创意人才打开了大门。价值会重新分配。前端工作更有可能被整个生成出来。高性能后端、游戏引擎和系统架构，则是人类价值会集中的地方，因为这些工作的本质是在约束条件下做权衡。

对于这种冲击，他没有淡化。互联网、移动互联网和工业革命都重塑过工作，催生过没人想象过的职业。但这一次，适应的窗口被压缩了。他估计，其影响约为工业革命的十倍，速度也是十倍：相当于一百年的变化被压缩进十年，合起来是百倍的冲击。他希望顶尖的经济学家和哲学家现在就开始研究，包括“普遍基本供给”这类机制，把生产率提升的一部分以服务的形式作为底线分享出去，而想要更多的人，依然可以培养稀缺技能，让自己变得与众不同。

Fridman 把话题引向政治哲学：政府本身也是一种技术，如果它无法迭代，快速的变化就会把它撕裂；而政客很擅长把分歧转化为选票。Hassabis 同意，届时需要新的治理结构和制度。他强调次序：先把资源的总量做大，从零和转向正和；然后再争论分配。没有前者，后者就没有可分的东西。

Benjamin Labatut 的小说《疯狂之梦》（The MANIAC）与 Hassabis 形影相随，核心人物是 John von Neumann。这是一部令人难忘的作品，探讨天才、疯狂，以及发现本身的双刃性。von Neumann 参与制造了原子弹，开创了现代计算机的架构，还预见了学习型机器。Hassabis 提到一个他很喜欢的细节：von Neumann 谈到的系统是“生长”出来的，而不是“编程”出来的。他不会对 2025 年的情况感到震惊；Hassabis 认为，von Neumann 在 1950 年代就已经看到了其中的大部分端倪。作为一个对游戏和博弈论都有兴趣的头脑，他想必会为 AlphaGo 而欣喜。它与核技术的不同，在于广度。AI 是一种通用工具，既可能治愈疾病、终结稀缺，也附带风险。Hassabis 猜想，von Neumann 两种面貌都看见了。

对于书中“理性的疯狂之梦不足以指引人类”的观点，Hassabis 表示同意。不论把它称为精神层面还是人文层面，都不一定非得是宗教。让我们成为人的那点火花，也许与意识相关，必须放在这项事业的中心。他站在 Richard Feynman 那一边：科学与艺术是伙伴。理解一朵花的颜色为何演化而来，只会让它更美，而不是更少。在 Hassabis 看来，Leonardo da Vinci 并没有把科学、艺术和宗教割裂开来。他最喜欢的哲学家之一是 Spinoza，后者把理解宇宙及人在其中的位置，当作理解宗教的一种方式。他警告说，技术人员往往只懂技术。这也是他支持 AI 峰会以及政府参与的原因之一。聊天机器人时代有一个民主的好处：普通人可以接触前沿的 AI，并被迫参与到这场讨论中来。

各国会不会搞一个曼哈顿计划（Manhattan Project），把这项技术当作武器？他希望不会。那将是危险的，也是一种误用。他更希望看到类似 CERN 的模式：以研究为主，由全世界最优秀的头脑在部署之前仔细完成最后几步。当前的地缘政治让合作很困难，但事情会变。至少，研究人员之间应该保持联系。Fridman 补充说，科学一直是一种连接者；围绕共同问题、由多元文化和多学科组成的团队，是令人欣慰的模式，同时还要有双向的教育和移民，让人们真正交流起来。Hassabis 没有给出 p(doom) 的数字，因为一个数字会暗示一种并不存在的精确性。他能说的是，概率肯定不为零，而且大概率不可忽略，这已经足够令人警醒。在巨大的不确定性和双向的巨大利害之下，唯一明智的路径是谨慎的乐观：享受收益，同时用科学方法更精确地界定和应对风险。他认为，随着 AGI 越来越近，这方面的投入至少需要扩大十倍。

风险运行在不同的时间表上，两者都重要。一种是普通的恶意行为者，无论是个人还是流氓国家，把一项通用技术挪作他用。他是坚定的开放科学倡导者；AlphaFold 和其他科学项目都面向研究社区开放。如何既防止强大的系统落入恶意行为者之手，又让善意的行为者能够在其上构建，这个问题他还没有听到过清晰的解决方案。另一种是接近 AGI 的自主系统：保持护栏，保持在人类控制之下。Fridman 更担心的是人本身，包括如何减少恶意行为者的数量，而不仅仅是如何不让工具落到他们手里。Hassabis 指出，如果预警系统足够可靠，AI 本身也许能对生物或核威胁提供早期预警，这是一个相互交织的问题。至少在中美之间，可能需要一些基本的标准。

Fridman 把话题拉回到李世石在与 AlphaGo 对弈时下出的第 78 手（Move 78），这一手常被称为纯粹人类天才的最后一次闪光，它曾一度打乱了机器的评估。Hassabis 则把这件事记作彼此的启发。DeepMind 团队被李世石的精彩与风度打动；而李世石，也许是受到 AlphaGo 棋路的触动，才下出了那一手。纪录片《AlphaGo》把这一幕拍得很好。他预计，这样的互动还会以各种形式继续。在可预见的将来，人类仍将提供提出正确问题的创造力，然后借助工具去破解它。

人类究竟有什么特别之处（如果有的话），这是 Hassabis 从童年起就一直在追问的问题。他攻读神经科学博士学位，研究想象和记忆，重点是海马体，因为哲学，甚至对真实大脑的实验，都永远不足以回答这个问题。最好的检验办法是造出一个有智能的人造物，再将它与人类心智进行比较。他怀疑两者之间存在差异，甚至可能包括碳基与硅基在处理信息时的差别。他喜欢的一种意识定义是：信息在我们被加工时的感受是什么样的。这不是一个很科学的解释，但在直觉上很有意思。他和 Roger Penrose 常常交流，并且礼貌地存在分歧。Penrose 与神经科学家合作，寻找大脑中的量子力学行为；据 Hassabis 所知，他还没有找到令人信服的证据。Hassabis 的赌注是：大脑主要是经典计算，这意味着相关现象原则上可以在经典计算机上被建模或模仿。而感受质（qualia），也就是“那种感觉是什么样的”，可能仍然依赖于它的承载基质（substrate）。

神经接口也许连跟上 AI 都需要，它或许能让我们亲身体会在硅基上计算是什么感觉，从内部来解答这个问题。他曾与已故的 Daniel Dennett 辩论过：我们为什么会把意识归于彼此？因为行为相似，而且基质相同。换成硅基，后一条就不成立了。AI 可能看起来有意识，甚至声称自己有意识；我们不知道它的感受，它也不知道我们的感受，除非也许有一天超级智能搭起一座桥梁。Fridman 称之为人类从未面对过的一次根本性的共情测试。Hassabis 指出，我们已经在努力去理解海豚、虎鲸、大象、狗和猴子，这些动物即便智商不算高，也表现出意识的某些侧面。DeepMind 的 DolphinGemma 用海豚和鲸的叫声训练，有朝一日也许能成为一种翻译。

让他抱有希望的，是人类的两种特质。第一是几乎无穷的创造力：没有什么比看到体育、科学或艺术顶尖的人进入心流更美妙的了。大脑是一种通用系统，上限非常高。第二是极强的适应力。原本为了在苔原上猎杀野牛而进化出来的心智，如今会飞、录播客、住进虚拟模拟之中，这本身就很荒诞。社会接受聊天机器人的速度比他预想的快，人们耸耸肩说：我跟聊天机器人聊天，没问题。Fridman 开玩笑说，这档播客迟早会被 AI 取代，他在等着。Hassabis 告诉他，AI 还达不到 Lex 的水平。Fridman 笑着说，这种夸奖正是人与人之间的相互体谅。玩笑背后是 Hassabis 真正的方法：提出一个不现实的目标，把它切成可交付的步骤，然后发布。虚拟细胞已经被拆成碎片，拼了二十五年。AGI 是一连串每六个月一次的英雄训练跑。能源则是材料、电池、输电和等离子体控制。他与其说是在预测未来，不如说是把未来排上了工程进度表。