John Hopfield 的心智物理学：故障变成了特征

Lex Fridman 一开始就谈到哲学层面：生物神经网络与人工神经网络相比，最迷人的地方是什么？Hopfield 的回答是进化上的机会主义。如果一个分子或一个神经元有某种怪癖，进化往往会把它打磨成有用的特征，而不是当作故障来对待。因此，你应该预期大脑已经把让神经元干活的每一种可用诀窍都用上了。他说，人工网络几乎完全压制了这一面。

他用一个物理上的相变来说明。频率相近的振子，在某些条件下会突然步调一致。大约在 2001 年开通的泰晤士河千禧桥，就是一次公开的演示。行人起初并不是步调一致地走，但大家走路的频率差不多；桥可以按这个频率晃动，而这一点点晃动又把行人拉进了同步。工程师原本把走路看作前后摆动、脚跟到脚尖的问题，没有认真考虑左右方向的摆动，以及左右脚的交替。桥的横向强度是够的，但刚度不足，人们感觉到晃动，就不由自主地踩进了同一个节拍。这座桥因此关闭了两年，用于加固刚度。

神经细胞会产生动作电位。把一群耦合较弱、放电频率相近的细胞放在一起，在某些条件下它们会锁定在一起，在另一些条件下则不会。Hopfield 说，一旦它们一起放电，你可以肯定其他细胞会注意到。进化中的大脑可以把这一点变成计算特征。大多数人工网络连动作电位都没有，更谈不上让它们同步的途径。活体系统里看起来像缺陷的东西，是可以变成特征的。

分子层面也是同样的道理，只不过表现为基因复制。一段编码蛋白质的 DNA 能被拷贝出来：原本那份照旧干活，另一份则慢慢变成结构稍有差异的分子。假如这个新分子碰巧对细胞所需的某个反应有帮助，进化便会顺着这个方向把它往好里调。由此得到的是一种一般性的本事：先复制，再让两份拷贝各走各的路，老的那份保住旧职能，新的那份去试探新职能。

Fridman 把这种模式套到公司上。Hopfield 表示同意，只是时间尺度短一些，但也没短得离谱：公司会破产，也会诞生，有的能存活一百年。大型组织很难让新产品和旧产品相互竞争。IBM 造出第一台个人电脑时，专门成立了一个独立的内部部门，并且第一次没有坚持使用 IBM 自家的零部件，因为进入另一个市场就必须改变企业文化。Hopfield 补充说，生物找到新市场的方式更具适应性，在这类整合上也做得更好。

被问到人类心智最美的机制是什么时，他几乎没有犹豫：一切都是适应。但适应有两种。一种在好几代之间运行，是进化的时间；另一种在单个生命之内运行，是个体从环境中学习的过程。生物两者兼有，这正是神经生物学难的地方。它是一个看起来很数学化的系统，建立在一个进化系统之上。谈论神经网络的计算机科学家可以留在数学里，而生物则确实来自进化，并且是三维构造的。

Hopfield 说，计算机芯片基本上是二维的，也许是 2.1 维，它们在做三维布线时确实很吃力。生物不是这样构造的。新皮层呈片状，覆盖在体积约为灰质十倍的白质之上，白质里塞满了你可以称为导线的东西。结构决定了什么容易、什么几乎不可能。生物让一些在计算上很难看出如何实现的事情变得容易。反过来，它做不了简单的浮点运算，那样用这套硬件实在是太笨了。

在两种适应之中，他更想去触碰的是他能够亲手研究的那一种。进化过程他看不见；他对它充满敬畏，但它对研究来说是个黑洞，他也没兴趣去研究它。人类生命的时间尺度则可以拆开来看。发育神经生物学观察连接和结构如何在几天、几个月之内，从基因加上三维构造这一事实中长出来。婴儿期既是细胞大量增殖的时期，也是大脑中最剧烈的细胞死亡的时期。那些没有效用、连接得不够好、无法使用的东西，会被淘汰掉。这是一个筛选过程，而不是一次成型的设计。

心智的下一个几十年进展会从哪里来？Hopfield 总是透过物理学的镜头看世界。他的父母都是物理学家，他从中领悟到一种感觉：世界是可以被理解的。做足够多的实验，想清楚它们意味着什么，把数学结构整理好，你就应该能看清事物如何运作。教大一物理时，他不希望学生去背例题，再写出对应的方程。他希望他们真正理解牛顿定律，能看着一个情境，说出自己预期球会走出怎样的轨迹。他对这种“理解”只有模糊的概念，也从没找到好的表述方式。

他说，这种模糊的理解标准，会直接撞上简单的前馈网络。它们能做出惊人的事情，却不包含他所说的理解的实质。理解不只是一张巨大的查找表。Fridman 追问：如果这张表变得非常大呢？Hopfield 从两个方向回应。在真实系统中，反馈对于计算如何发生至关重要。带反馈的数学系统可以展开，但你要构建的东西会指数级地膨胀。反馈不是锦上添花，它是计算和查表之间的区别。

如果问神经外科医生，一个人什么时候算是没了，答案很可能来自脑节律：这个大脑再也不可能恢复功能，那个大脑如果得到好的治疗，可能还能挽回。这个判断依据的是电极读到的简单电信号模式，而不是单个神经元的细节。Hopfield 指出，谷歌那边的东西里本来就没有这些节律。Fridman 把它比作一位世界级钢琴家和一个刚学琴的孩子。Hopfield 的反驳是，他们俩都还在弹钢琴。问题在于，谷歌那一边会不会真的弹起来。

他认为，这两个群体会一代一代地循环下去。AI 和计算机科学拿来神经生物学当前的模型，假定它已经足够好，然后尽其所能地利用它。有趣的事情发生了，然后工作又陷入僵局，有人说，还需要神经生物学提供别的东西。一个更大的想法出现了，进展又走得更远，然后再一次撞上僵局。他不知道要经过多少代，才有人能说自己做出了一个人。他的感觉是，可能还要再来几代，每一代都更深入地触及大脑的功能，并在越来越长、越来越广的任务上通过图灵式测试。

从 AI 的角度看，脑电波可能会被当作副现象而被忽略。他的第一辆车是 1936 年的道奇，车速超过每小时 45 英里（约 72 公里）时，车轮就会抖动：那是故障，不是设计。在生物中，如果知道自己跑得比这个速度快有用，进化就会把这种抖动直接利用起来，而不去管它从哪里来。他说，在大型复杂网络里，这类意外要真正被用来计算，还需要很长的时间。一台笔记本电脑里有大约 10^10 个相似的晶体管，而具有这么多相似部件的物理系统，几乎不可避免地会出现集体性质：空气中的声音、地震、天气。今天的 AI 里，没有任何集体性质被利用。如果生物确实在利用它们，还需要更多代顽固的研究者钻进去，弄清楚是怎么回事。

Hopfield 最大的惊讶之一，是学习系统即使与生物学毫无关系，也能非常有用。Fridman 把话题引到了如今被称为 Hopfield 网络的那些联想网络上。就人类而言，联想记忆是普通而强大的。你对每个朋友都有一份记忆：样貌、声音、大学、认识的地方，以及他们写过的论文。如果开始描述一位约 178 厘米、身材精瘦、腰背很不好的认知科学家，很快你就会意识到，你说的是 Geoff Hinton。没人说出这个名字。几条和某个人绑定在一起的事实，就足以让你抓住其余的部分，或者至少抓住另一部分。在 Hopfield 看来，智能行为的很大一部分，只不过是大型联想记忆在运作。

他大约在 35 年前做出的东西，是一个粗糙的物理模型，刻意保持粗糙，好让他作为物理学家的那种理解感能够成立。你可以说，啊，我明白了它为什么会走向稳定态：这就像东西顺着坡往下滚。这让你能用物理的语言来思考，而不只是用数学符号。他描述的不是一个能优雅学习的系统。他描述的是一个系统，在这个系统里，你能看到学习一旦就位，怎样把各种东西连在一起。

回到这个系统，他对压缩很感兴趣。如果一个小时里每秒都看到同一张脸，你不会存下 3000 张图像。你会把这些视角压缩成比单个神经元活动更大的块，这样如果类似的信息再次进来，重写它就没有意义，因为它已经写好了。生物不像常见的机器设置那样，先花一段时间学习，然后关掉学习再去执行。突触的变化发生在一个可以与活动动力学相重叠的时间尺度上。他说，要更深入地研究神经生物学中的联想记忆，就得面对突触变化一直在进行的事实。把这些时间尺度分开，对物理学家和数学家来说很整齐，但在大脑里不一定成立。

他在物理和生物之间来回穿梭，因为他对理解的整个看法是：你可以用诚实、可信的方式描述某个东西如何运作，而不必把所有螺丝钉都摆出来。原则上，你可以模拟大气中 10^32 个分子的碰撞，却依然什么也没理解。他想要的是风的模式、飓风、气压差：这些陈述在没有分子碰撞的情况下依然成立。他身上的物理学家总是希望，生物学也能拿出其中一些这样的陈述。

被问到这些网络教会了我们关于记忆和学习的什么，Hopfield 很谨慎。它们并没有提供关于学习的洞见。它们提供的是关于事物一旦学会之后如何被表达的洞见：比如一张你的照片，怎样让他想起你的名字。如果正确的连接已经就位，放入图案的一部分，就能补全其余部分，而这种补全你可以当作物理来理解。放入别人的照片，出现的就是别的东西。那篇论文没有描述一个真正进行学习的合理过程。

即使把学习放在一边，有用的思想仍然是鲁棒性。把一次计算想成穿过一个巨大的 0 和 1 空间的一条路径。一个纠错系统会在你偏离时把你推回这条轨迹上，所以即使计算一路上都没有理想地执行，你也能得到同样的答案。这种纠正的一个模型，是河谷：被岩石推开的水，仍然会沿着河道流。在这个比喻里，联想记忆和无误计算，都是物理系统能够让人理解的东西。也有一些纠错方案，既没有谷，也没有能量作为背景。数学家或许能理解它们，他却不能。

受限玻尔兹曼机和深度信念网络，都是沿着这些想法发展来的。让他始终感兴趣的，是玻尔兹曼机为何如此经久不衰。它本质上是一个反馈网络；Hinton 和 Terry Sejnowski 的卓越之处，在于理解如何在其中进行学习。从物理上说，这种学习是在学习一组哈密顿量（Hamiltonian）或能量函数的参数。Hinton 一直回到玻尔兹曼机的又一种形式上，这让他觉得好笑：一个既有反馈、又带概率结构的东西，很漂亮地概括了一件事物，它既是计算的，也是物理的。

他不认为大脑像最深的计算机科学网络那样深。他怀疑，其中一部分深度是被迫的，因为在机器上容易完成的学习是前馈的。生物既有前馈，也有反馈；未解的问题是，这种混合有多少可以用更多神经元、堆叠得更深来近似。他怀疑，反馈的动力学可能比神经元数量或深度更重要。没有反馈，就有点像造了一台大计算机，只运行一个时钟周期，然后在重新装载输入之前什么也干不了。你可以闭上眼睛，不听任何声音，完全没有输入，只是想象一个棋盘想上两分钟，这件事该怎么解释？那种记忆本质上就是一种反馈机制。

他承认，反馈不会只停留在与意识无关的架子上。意识既难以内省，又更难研究。这些年来，每当这个话题让他感兴趣，他就去问那些他认为比自己更厉害的人，并收集各种观点。Marvin Minsky 告诉他，意识基本上被高估了，甚至可能只是副现象。困难的计算并不是有意识地完成的。大量证据表明，你可能在意识到之前，就已经决定要把手往左移了；神经生物学能先看到这个决定。按这种看法，意识只是糖霜。蛋糕是非意识的，Hopfield 更喜欢这个说法，而不用弗洛伊德的“潜意识”。

他提到 Nick Chater 的书《The Mind Is Flat》（《心智是平的》），把“平”理解为神经网络意义上很宽、而没有很多层深度。把 Minsky 逼得够紧，他会说，意识是你试图向自己解释你已经做过的事情：围绕已经计算完的东西编织的一个叙事。关于事件的记忆就是这样工作的。目睹一场创伤性的场景，你会对其中几件事记得没错。被问起时，你会借助这些锚点加上一般知识，编织出一个丰富得多的故事，然后反复讲这个故事，并坚称那些编造的细节是真的。

John Dean 是他的例证。Dean 在水门事件中担任尼克松的私人律师。他意识到，说出一些关于掩盖行动的真相，是让自己长期不坐牢的办法。他是一位出色的证人，能非常详细、非常有说服力地回忆对话。后来，那些对话的秘密录音被公开，人们发现 Dean 的记忆力不错，但并不出众。他具备的，是把正在发生的事情的氛围生动地描绘出来的能力，而且在某种意义上还相当准确。Fridman 称这是对意识的一个绝妙描述。Hopfield 并不反对。

问到他的立场，他仍在收集观点。他曾问过 Francis Crick 关于意识的问题，得到的是一大段关于孟德尔和豌豆的独白：遗传性状不会混成灰色，它们就是这样或那样，并且会一代代传下去。生物学家花了几代人才看清遗传学的存在，又花了一两代人才弄清它来自 DNA，但在孟德尔之后，有思想的生物学家就知道，遗传是个深刻的问题。这就是 Crick 去研究意识的原因。Hopfield 的异议是，Crick 没有类似孟德尔那样的确凿证据，所以他和 Christoph Koch 合著的那本书读起来让人不太信服。Hopfield 自己也还没找到入口。神经生物学中的集体动力学，为物理学提供了可以贡献的东西；而从物理学的角度看，意识目前还没有。自由意志是邻近的一个陷阱：物理学家随口给出一个答案，随后就会退回到与物理定律相矛盾的境地。他划了一条明确的界线：量子力学不必出场。大脑的谜题，是一个有大约 10^14 个部分的受驱动动力学系统。他说，这种复杂性背后的物理，至少和量子力学中的相位相干性一样，理解得很差。

吸引子网络，他说，需要在大量维度中思考。系统的行为，就是这个空间里一个点随时间的运动。吸引子是其他的线都会汇聚过去的那条线。经典统计力学中的刘维尔定理（Liouville's theorem）说，你不可能在相空间的每个地方都收缩：在某处收缩，就必然在别处膨胀。有趣的受驱动物理系统，通常把一个小的子系统当作有趣的部分，让收缩在那里发生，而膨胀，也就是熵流，则存在于其余部分中。从某处出发，你很快就会发现自己走在一条相当确定的路径上；从别处出发，你就会落到另一条路径上。这就是你能获得稳定计算机和稳定行为的方式。

大多数受驱动的动力学系统，与能量来源耦合，使运动持续下去，如果不实际运行它们，很难理解。其中一部分系统具有数学家所说的李雅普诺夫函数（Lyapunov function）。对于这些系统，你可以把它理解为沿着某个东西往下走。在他 1980 年代初做的那个简单模型中，他当时还不知道这个名字，那个东西就是能量函数。把球从山上滚下来，它会落进山谷；你不必看每一次弹跳就知道这一点。并非所有系统都这样，可能大多数都不是，但这幅图景是帮助人们思考稳定吸引子的一个比喻，即使找不到能量函数也一样适用。

如果一个眼里闪着光的年轻人想用神经网络搭建一个会思考的系统，Hopfield 的第一条批评是，简单的网络并不善于支持多种假设。在他的理解里，思考是在采取身体行动之前的心理探索：闭着眼睛想象棋局的走向。前馈网络是通过预先计算来做到这一点的。他不认为神经生物学会预先计算一切；它有一个真正运行探索的动力学系统，其中有创造性的成分。在一个简单的网络里，你有一簇已学会的实例。如果一个新问题落在这个空间之内，你就可以依靠一个不错的建议。如果查询来自空间之外，那么可能发生的事情就没有任何限制。

在人工网络的世界里，前提总是一群样本，而测试集必须来自同一个群体。来自完全不同分布的样本，并不能让你期待得到正确的答案。这就是分布外的失败。一个球在黄昏时滚过马路。如果训练集里没有这样的场景，网络就不会想到附近可能有个孩子正在靠近。我们生物性的某种东西，让这个念头得以浮现。他说，训练分布不只是那组样本，还有更多东西；而那个“更多”，正是他那个老问题：理解一件事究竟意味着什么。

关于演绎推理与大数据的对比，Hopfield 承认，有些科学问题，比如宇宙学，只能通过分析海量数据才能得出结论。但那些从来不是他有洞见的问题。Jim Peebles 是隔壁系的诺贝尔物理学奖得主，他从不埋头处理大数据。他借用别人工作的凝练成果，最终把问题归结为：思考一个现象所遵循的原理。物理学总是在寻找超越细节的描述。最坚定的生物学家认为，生物之所以能运作，正是因为细节。物理学家想要的，是一种即使不计较细节也成立的解释；如果用这种方式回答不了，他们就会把那些问题留着。

Fridman 问到脑机接口，以及 Neuralink 这类公司，它们拥有一千多个能读写脉冲的连接。Hopfield 的希望有一段历史背景。他刚开始对神经生物学感兴趣时，大多数研究者，包括 David Hubel 在内，都认为可以通过一次记录一个细胞来理解这个领域。又过了一两代人，观点翻转过来了：只有能同时记录 10^4 或 10^5 个细胞，才能理解大脑如何工作。从大的角度看，他认为这是对的。你必须去寻找那些不存在于某一个动作电位或某一个细胞中的集体模式。问题是，要同时记录多少个，门槛在哪里。

运动皮层是一个很能说明问题的例子：它所做的事情很复杂，但你要解决的问题相对简单。一个工程师会在一条肢体上装六个精度很高的步进电机。神经生物学则动用了大约十万根肌纤维，每一根都被单独控制。如果能以更宽容、更具神经特征的方式完成工作，工程学会受益。不要用无数个不精确、会不停重新校准的压力传感器去铺满一个机器人，或者至少不要只用一两个精确传感器加上一个紧凑的控制回路就停下来。拥抱一群杂乱、容易出错、能自我校准的群体。他认为，这才是做出更好的计算和更好的机器人的办法，而不是强迫一切都依赖强大而精确的关节电机。

那么，物理学家会不会在过于庞大、无法用简单基础原理处理的系统中迷失？Hopfield 不接受这个前提。非线性流体力学的纳维-斯托克斯方程（Navier-Stokes equations）里有大量物理。原子和分子层面的物理已经不再显式出现，取而代之的是另一组与底层方程同样真实的方程。这类方程在一般生物学里会更难找，但他内心的物理学家坚持认为，它们大概率就在那里。如果物理学仍然能有所贡献，那可能就是找到这些方程，并学会从生物学中把它们抓出来。分子处在一端，心理行为在另一端，中间是一层层的集体性。开放的问题是，如何在不从原子开始计算的情况下，抓住往上几个层级的联系。他说，他只能做物理学的梦，而物理学塑造了这些梦。他提到 Alan Lightman 的《爱因斯坦的梦》，书中有关于时间可能会是怎样的章节。

把心智当作机制来研究，改变了 Hopfield 对死亡的看法。随着年纪增长，身体以各种方式逐渐分崩离析，他越来越清楚，一个人是什么，包含在大脑里，而不在你担心要埋葬的那具身体里。对于那些会把东西写下来的人来说，方程、便笺、日记，思想的碎片在身体离开之后仍会继续存在。在他的一生中，已经发生了一场巨变。他父亲去世时，除了他真正写下的东西，关于父亲的事实几乎没有被记录下来。在他看来，现在我们每个人的大量事实，都会被永远保存在数字世界里。死亡是什么，这个问题对于上一代人和下一代人可能会不同。按某些定义，我们已经不朽了。

他说，生命的意义和“理解”一样，是个难以捉摸的词。生命系统出奇地难以定义。一个氢原子和另一个氢原子几乎没有区别；一个细菌和另一个名义上同种的细菌，却并不那么相似。物种的概念变得模糊，而且，在没有某些环境的情况下物种是否还存在，本身也是个问题。很快，整个生物学看上去都是活的，而单独的某个元素到底算不算活的，也变得不清楚。在这个意义上，意义可能是某个个体、某个有意识的生物所拥有的东西，而生物系统之间错综复杂的相互联结，又让人分不清一个人从哪里开始、到哪里结束。

神经生物学也有同样的模糊。人们说新皮层负责思考，但大量工作是在脊髓里完成的，所以思维的本质不可能简单地只存在于新皮层里。要理解思维，并构造出思维，你可能得连同皮层一起构造整个宇宙；一切都是相互关联的。Fridman 以 Hopfield 2018 年的文章《Now What?》中的几句话收尾：选择问题，是决定一个人在科学上能做成什么的首要因素。Hopfield 的注意力通常不长，当前的问题一旦被解决或被归为无法解决，他就一直在寻找更有意思的问题。专家擅长回答问题。如果你足够大胆，就去提出你自己的问题，不必太在意你是怎么找到它们的。