Max Tegmark：AI 进展、安全与人的自主权

Max Tegmark 回忆，少年时有两个谜题让他着迷：外部宇宙和心灵。在多年研究宇宙学之后，他转向 MIT 的 AI 与神经科学研究。

他说，近年的语言模型比许多同事预期出现得更早。正如飞机不必完全模仿鸟也能飞行，机器可能通过不同于大脑的路径获得能力。

Tegmark 提醒，不要把 AI 等同于今天的 Transformer。他预测，未来架构可能使用更少数据和能源，就像电子计算超越了真空管。

他指出大脑与 Transformer 的差异，包括大脑中的循环连接。他提到一种将循环连接与意识联系起来的理论，但将其作为理论，而非主观体验的确定测试。

被问到推理还缺什么时，他说没有人确切知道。他提出，未来系统可能结合神经网络的模式识别与符号推理、工具使用，并将其类比为人类的不同能力。

Tegmark 介绍对语言模型内部表征的研究。他的团队发现模型内部存在空间结构；他说，这可能帮助模型回答训练中未直接遇到的地理问题。

他还介绍通过对齐不同语言的词嵌入来恢复词典的研究。他认为，共享的几何模式有助于解释部分迁移与泛化能力。

Tegmark 预计 AI 最终能跨学科连接超出个人记忆范围的知识。他以出人意料的翻译和编程能力为例，说明系统可能展现未以简单方式直接指定的能力。

他描述语言模型如何使用计算器、数据库或其他工具弥补弱点。类似组合未来可能控制软件智能体或物理机器，但他也指出自主行动带来风险。

他预计商业压力会推动智能体从回答问题转向为目标采取行动。他认为，与世界互动的自主系统值得审慎对待。

谈到科学与教育，Tegmark 设想 AI 帮助人们获得深入的专业知识。一个有用的导师既要理解学科，也要理解学习者已有的知识、误解和动机。

Hellermark 问，在模型训练仍然困难的情况下，自我改进系统可能如何出现。Tegmark 认为这是渐进过程：人们已经使用当前技术，包括编程工具，开发下一代技术。

他预测，单位工作量所需的人类参与可能随着时间减少，完全自主的改进最终或许成为可能。这是未来情景，而非已确立的现有能力。

被问到为何偏向人类时，Tegmark 给出个人回答：他忠于自己的家人，也认为人应保有对自己创造的未来的影响力。他希望机器服务于人的目标。

他回忆组织 2015 年波多黎各 AI 安全会议，让担心失控的研究者与开发先进 AI 的人交流。参与者对时间线和结果有分歧，但支持研究安全与透明度。

Tegmark 说，会议促成了一个资助计划，也帮助安全成为主流研究议题。他从中得出更广泛的启示：一小群人有时也能推动被忽视的问题。

他把应对不确定 AI 风险的预防措施比作火灾保险：人们不必认为灾难最可能发生，才值得投入预防与安全研究。这是预防论证，而非量化风险估计。

被问到尚未充分探索的想法时，他认为研究者对架构的思考可能过于狭窄。他推测，截然不同的设计可能用少得多的硬件、能源和数据实现有用能力。

他强调脚手架：把语言模型放进包含工具、数据库、循环和其他推理机制的更大系统中。他将其粗略类比为快速直觉处理和较慢的审慎处理。

他讨论早期研究，让模型在给出答案前进行更多计算。他认为这是架构实验的一个例子，并不声称最终设计已经明确。

Tegmark 的团队研究符号回归：找出近似已学函数的公式。他说，利用结构与模块化的方法重新发现了已知物理方程，并促成了一项发表的大气化学成果。

他介绍另一项实验：把神经网络学到的行为转换为可读 Python。他更长期的愿景是从高风险场景中使用的系统提取可检查的表示。

该方法可以在简单近似公式与更复杂、更精确公式之间提供权衡。Tegmark 希望 AI 能帮助解释其他 AI 系统，而不是让人类独自承担全部解释工作。

他认为，检查形式证明可能比找到证明更容易，并设想使用精简的证明检查器验证 AI 生成代码的性质。被验证的规格是否涵盖所有现实要求，则是另一个挑战。

谈到治理，Tegmark 说领导者在竞相让技术可用时，常常推迟安全方面的思考。他认为，类似医药或航空领域的安全标准可以创造激励和时间来评估危害。

他主张让有益应用继续发展，同时对可能带来失控风险的系统施加更严格要求。这是他的政策立场；此类标准的边界和效果仍有争议。

他将当前时刻比作 Enrico Fermi 的早期核反应堆：一个规模有限的演示，却先于影响更大的技术。Tegmark 借类比主张提前准备，而不是证明两种技术会沿相同路径发展。

他希望未来仍由人类掌握主动权，同时减少饥荒、战争和其他长期问题。他把更多精力放在可信系统与安全标准上，而不是想象所有问题都已解决的世界。

被问到生命的意义时，Tegmark 说物理方程不会自动提供意义。在他看来，有意识的生命通过爱、美、希望和善意等体验创造意义。