Geoffrey Hinton：AI 存在、更快的学习与关注人类福祉的设计

Joel Hellermark 欢迎 Geoffrey Hinton，并回忆自己此前曾预测 Hinton 会获得诺贝尔奖。Hinton 说，他最初以为电话是恶作剧，并开玩笑说，粗略的贝叶斯计算让获奖看起来更像一场梦。

Hellermark 问人类智能是否已经达到收益递减的阶段。Hinton 猜测，人类已经发展到可以创造更快变得智能的事物的阶段。他将漫长的演化循环与更快的发育和学习作比较，并提出 AI 增加了更快的一层循环。

被问到更高的智能与并行探索哪个更重要时，Hinton 回答两者都重要。他指出 AI 在国际象棋和围棋中的表现，并说自己预计系统在其他领域也会变得比人类智能得多。

Hinton 提到最近公布的一项数学结果，认为它可能显示 AI 在数学方面的潜力。他认为，数学和游戏一样具有相对封闭的结构，系统可以提出猜想并尝试证明；他预测十年内 AI 在某些方面可能超过数学家。

Hellermark 问为何尚未出现更多发现，以及模型能否通过类比创造新知识。Hinton 说，语言训练能传达出人意料的大量空间知识，但身体与物体的互动会增加关于物体及其性质的信息。他认为，早期模型缺少这种经验是一个不足。

Hinton 说，人们对人类智能仍有许多不了解的地方，AI 也还有改进空间。作为唯物主义者，他认为人类没有任何 AI 永远无法获得的固有特征。被问到类似爱因斯坦的思想实验时，他预计在较长时间尺度上，或许二十年内会看到这类能力。

Hinton 将他预计出现的文化适应，与人们重新认识地球和人类地位时的哥白尼革命、达尔文革命作比较。他说，他认为人类正在创造新型存在，并预计许多人会抵触这种描述。这是他的哲学解释，而不是关于 AI 意识的既定发现。

Hellermark 问，模型是否应该像游戏系统那样，从依靠人类数据预训练转向强化学习。Hinton 说，预训练能提高效率，而在数学或游戏等封闭领域，自行生成训练数据的方法可以奏效。

他回忆，早期围棋系统学习模仿专家的落子，因此受到可用数据和专家水平的限制。他说，自我对弈和搜索随后让系统能够产生自己的训练材料。他提出，语言模型可能存在一种类似方法：从信念出发推理并发现不一致。

Hinton 提出，如果模型推导出的结论与另一项信念冲突，它可以修改推理、前提或结论。他认为，这或许可以在没有同等数量新外部数据的情况下支持重大改进。他还推测了另一家实验室可能正在做什么，但没有声称掌握直接信息。

Hellermark 问，更好的模型是否会通过递归改进和人才集中，持续扩大一家实验室的领先优势。Hinton 说他不知道。他的直觉是，可能会有多家实验室共同进步，而不是一个系统迅速远远领先，但他强调这存在不确定性。

被问到会把研究押注放在哪里时，Hinton 说答案取决于动机。追求快速财务回报的领导者可能会扩大已经有效的方法；优先考虑人类未来的人则可能探索多种路线，以发展他所说的更好的存在。

Hinton 担心，企业竞相追求智能和利润，却没有充分关注其他品质。他认为，如果人类正在创造新型存在，就应该有意识地努力开发关心人类福祉的系统。

他以演化竞争作类比：群体内部的合作和忠诚，可以与对外部群体的敌意并存。Hinton 不认为企业竞争的无形之手会自动产生他希望看到的关心人类的系统，因此呼吁明确的设计和研究。

Hellermark 问，反复讨论邪恶 AI 是否可能影响训练数据和模型行为，并将其比作孩子不断听到别人对自己作负面预测。Hinton 回答，这种讨论也可能促使人们关注如何表现得更好，并再次呼吁为这一目标投入努力。

被问及架构押注时，Hinton 提到了快速权重。他说，高效的并行矩阵乘法倾向于让模型在许多输入上使用相同权重，这使得处理一个序列时快速改变权重变得困难。

Hinton 将此与他对大脑的描述作对比：许多突触会快速适应并衰减。他提出，快速变化的权重可以有效编码近期历史，而当前模型以另一种方式使用先前神经活动的信息。他推测，基于电压或电导的计算可能让这一方法更可行。

在训练数据方面，Hinton 赞成筛选，并将其与为孩子选择阅读样本作比较。他说，模型开发者至少有两种影响方式：强化，以及用于展示行为方式的样本。他认为应更加重视提供理想行为的例子。

最后，Hinton 回忆有人要求他将自己与奥本海默作比较。他曾称奥本海默是一位杰出的物理学家和组织者，而把自己的长处归结为坚持。他最后开玩笑说，奥本海默从未获得诺贝尔物理学奖。