Geoffrey Hinton：神经网络、直觉与大脑

Geoffrey Hinton 回忆初到 Carnegie Mellon 时，周六晚上实验室仍挤满对计算未来充满热情的学生。这种氛围与他此前在英国的经历很不同。

在剑桥，生理学和哲学没有回答他对心智如何运作的疑问。爱丁堡的 AI 研究更令他满意，因为模拟可以用来检验理论。

Donald Hebb 和 John von Neumann 的著作影响了他。Hinton 相信，学习一定涉及改变神经网络中的连接，而不是预先编写所有规则。

他从简单的非线性神经元以及如何调整连接权重的问题中获得启发。在 Carnegie Mellon，他与 Terry Sejnowski 合作研究 Boltzmann machines；虽然现在怀疑这是否描述了大脑，他仍热爱那段工作。

Hinton 也从学生 Peter Brown 那里学习了语音和隐马尔可夫模型。他回忆，自己借用了“隐藏”一词，来描述内部变量不能直接观察的神经网络层。

他讲起 Ilya Sutskever 来办公室请求进入实验室的故事。读完一篇反向传播论文后，Sutskever 问为什么不把梯度交给更先进的优化器；Hinton 说，这个问题花了他们多年探索。

Hinton 回忆 Sutskever 数学能力强、独立思考，动手实现也异常迅速。一次合作中，Sutskever 在一个早晨写出了 Hinton 以为需要一个月的编程接口。

Sutskever 很早就主张，更大的网络和数据集会改善结果。Hinton 起初认为还需要更多算法想法，但他说，规模的作用比自己预想得更大，架构进步也发挥了作用。

他们利用 GPU 在维基百科上实验字符级预测，并对结果感到惊讶。Hinton 回忆，当时很难相信系统可能学到了有意义的结构。

Hinton 解释词嵌入和反向传播如何预测下一个符号。在他看来，要预测好答案，可能需要表示问题的含义并进行一些推理；不过，模型是否以及如何理解仍有争议。

他认为，预测也可能是大脑从视觉和声音中学习的一个要素。这是对学习过程的解释，并非对大脑运作的完整说明。

Hinton 举例说，GPT-4 能在堆肥发热的反馈过程和链式反应之间建立类比。他认为，发现不同领域之间的共同结构可以支持创造性泛化。

为说明超越已有示例，他提到 AlphaGo 对阵 Lee Sedol 时的第 37 手。他同意自我对弈帮助产生新策略，同时认为从不完美数据学习也能超越单个标签。

他回忆一个手写数字实验：训练标签被刻意污染，但训练后的模型泛化表现优于这些含噪标签。例子说明模型可能利用共同模式克服标签噪声，并不保证能从任意劣质数据中可靠学习。

谈到推理，Hinton 设想系统通过审慎推演修正初始直觉，类似博弈系统利用搜索结果改进评估函数。

他预计，对图像、视频、声音和交互进行多模态训练将改善空间理解并提供更多学习信号。他说，语言本身能传达很多信息，但其他模态可以让学习更容易。

Hinton 思考语言适应大脑还是大脑适应语言，并认为两者都发生过。他对比符号规则、纯向量两种观点，以及他更倾向的中间观点：符号与相互作用的嵌入向量相关联。

他回忆 Rick Szeliski 曾建议用图形处理器执行矩阵运算。早期游戏 GPU 大幅加快了实验，Hinton 在 2009 年公开建议研究者使用 Nvidia 硬件。

两人讨论算力如何与神经网络研究共同发展，以及下一步可能是什么。Hinton 再次将大脑视为灵感来源，但并不假定机器必须复制每个生物细节。

他重视的一个想法是权重变化的多个时间尺度。他提出，连接的暂时变化，即快速权重，可能帮助解释更容易识别刚听过的词等短时效应。

他说，传统批处理使依赖输入的临时权重难以高效使用。在他看来，更灵活的硬件和学习方法最终可能让这些方案变得实用。

Hinton 认为，大型神经网络表明，复杂行为可以从数据中学习，而不必预先编码每条规则。他将这一启示用于关于语言结构有多少必须先天存在的长期争论。

被问到长期存在的 AI 助手是否可能有感受时，Hinton 认为机器可以有。他从行为倾向的角度解释感受；这是他的哲学观点，并非某个具体系统有意识的证据。

他重新审视自己早年对符号推理的怀疑。如今他接受自然语言为推理提供了符号媒介，同时认为学习到的向量表征在其运作中起重要作用。

Hinton 将许多成果归功于与学生的合作。他所描述的方法是：找到一个被广泛接受但直觉上可疑的想法，再构建一个小演示，揭示它可能错在哪里。

他以 dropout 为例：训练时让部分神经元静默，看起来似乎会损害表现，却可能改善泛化。简单模拟可以揭示效果，并引出更深入的解释。

他长期关注的开放问题是，大脑如何获得有用的学习梯度，是否近似实现了反向传播。他并不声称这一机制已经确定。

回顾过去，他说自己可能错误地把 Boltzmann machines 视为大脑模型，但并不后悔投入时间。他重视其优雅的学习算法和促成这一成果的合作。

对大脑如何学习的好奇心，比对社会应用的详细规划更能驱动他的研究。近些年，他开始关注这项技术可能带来的危害以及益处。

他看到医疗、材料和理解生物学方面的潜在益处，也担心监控、操纵和武器。这些是广泛的可能情景，而非某个具体系统已经造成的结果。

Hinton 说，放慢这一领域可能延迟收益，但在国际竞争中，他怀疑单方面暂停是否可行。他预计 AI 助手可以通过帮助编程和推理提高研究效率。

谈到选择研究者，他回忆自己从 Ilya Sutskever 和 David MacKay 提出的问题中看到了他们的能力。他重视直觉与技术实力，也认为实验室需要技能组合不同的人。

他建议质疑说法，不要全盘接受，同时承认强烈的先验直觉也可能导致严重错误。他自己早年对 Boltzmann machines 的坚持就是例子。

他认为扩展多模态模型是有前景的研究方向，但也欢迎其他想法。在他看来，许多不同学习算法能否达到类似能力仍是开放问题。

被问到最自豪的成果时，Hinton 选择与 Sejnowski 开发的优雅的 Boltzmann machines 学习算法，即使它最终不实用或不能描述大脑。他以一个关于选择 Netflix 节目的玩笑结束访谈。