Yudkowsky 与 Hanson 辩论：智能爆炸会集中于一处吗？

辩论的问题是：未来的智能爆炸是否会让先行者在未来世界中获得远大于农业革命和工业革命早期参与者所获份额的优势。组织者将其表述为高度集中的结果与更广泛、更分散的转型之间的对比。

Eliezer Yudkowsky 首先区分“奇点”一词的不同含义。他将其中一种有影响力的用法归于 Vernor Vinge：当技术创造出超越人类的智能后，作家或预测者将难以想象那个点之后的未来。

Yudkowsky 认为，人类心智一直足够相似，使古老故事至今仍能引起共鸣；而改变智能的底层结构，可能比许多单项技术更深刻地改变未来。由于智能产生技术，能力更强的智能可能影响许多下游领域。

他引用 I. J. Good 的智能爆炸设想：一个比人类更擅长设计 AI 的 AI，可能创造或修改出更好的系统，后者又能继续改进。脑机接口也可能产生反馈，但他认为软件自行修改可能是一种更快的形式。

Yudkowsky 将这一假说与技术变革已经呈指数加速的说法区分开来。他说，智能爆炸不依赖那种特定的历史趋势：只要技术持续取得一定进步，最终就可能产生 AI。

他用一个情景说明：研究团队结合公开洞见和自己的发现，在地下室里造出一个能够自我改进的“盒中大脑”。他把它作为可能的局部起飞的想象，而不是对已发生事件的描述。

Robin Hanson 同意，核心问题是局部集中，而不是泛泛地宣称所有技术很快都会加速。他承认 Yudkowsky 的情景有可能正确，也认为应该有人研究；两人的分歧在于这种可能性有多大。

Hanson 认为，一个孤立的小项目在成长过程中必须胜过世界其余所有参与者。人类文明通过大量创新积累了巨大的能力。在他看来，宏观历史模式主要是渐进增长，其间出现了少数重大转型。

Hanson 强调的例子包括人类语言或相关能力、农业和工业。他说，这些转型大幅改变了经济增长率，但先行者获得优势的程度各不相同。工业起源于爱丁堡，并没有让这座城市成为后来世界的唯一统治者。

Hanson 把这种分散的收益，与邦德反派或 Nemo 船长独立发明统治世界所需一切的虚构形象作对比。他的问题是：面对积累了大量资源的文明，一个小型 AI 项目是否有可能获得足够大的优势。

Yudkowsky 说，两人的对比可以表述为人类智能的兴起与工业革命之别。他观察到，当时的 AI 项目即使使用公开研究和程序库，也往往自己编写核心代码，彼此分享的认知内容相对较少。他认为它们不像交换组件的产业那样紧密整合。

Hanson 说，双方都同意更多脑力工作最终会转移到可复制、可按不同速度运行的非生物硬件上，分歧在于如何到达那里。他强调，人类和社会拥有大量继承与积累的知识和能力。

在 Hanson 看来，一个在地下室里几乎从零开始的系统，必须先获得或重新创造这些内容，才能与世界竞争。除非它在学习上有极其突出的优势，否则他预计它会远远落后于世代积累信息的社会。

Yudkowsky 回应，进化虽然极其缓慢，却仍然产生了大脑。他讨论选择速度的限制和基因组中的信息量，以此说明相对紧凑的设计也可能产生强大的认知能力。这是他的论证，并不是已经验证的 AI 构建方法。

Yudkowsky 依据直觉而非测量估计，关于智能可能只剩少数重大洞见尚待发现。他将此与需要数百或数千个不同深刻洞见的观点对比，同时承认这一估计难以量化。

Hanson 将分歧概括为架构与内容之争。一种观点认为，相对少量的结构性洞见能赋予系统强大的学习和成长方式；而他认为，有用的智能高度依赖大量具体知识、惯例和策略。

Hanson 将智能比作城市：即便在空旷沙漠中用更好的道路和管道重建纽约，也不会自动复制它的力量，因为已经在那里的人和活动至关重要。他认为，仅靠更优雅的设计无法替代积累起来的基础。

Yudkowsky 回应，人类共享大量架构，而与其他灵长类之间看似较小的差异，似乎对应着人类能力的巨大差别。他认为，架构不仅影响已经存在的内容，也会影响获取和生成内容的速度。

Hanson 同意人类已经超越其他物种，但质疑这种比较能证明什么。他认为社会特征以及积累、传播文化的能力非常重要，并主张一个架构略有改进的孤立群体仍须面对人类文明积累的优势。

Hanson 坚持认为，地下室里的系统若要在短时间内从知识很少成长到占据主导地位，就需要极其强大且容易获得的改进。Yudkowsky 回应，也许一两个洞见就够了，并以文化积累为例说明内容生成速度可以发生改变。

Yudkowsky 进一步提出假设：如果软件能重现相关思维过程，运行速度又远快于生物神经元，那么主观研究时间可能大幅压缩。他比较处理器频率和神经元活动，是对潜在速度的直觉，而不是已经实现端到端加速的证据。

Hanson 将更快的计算与先行者优势区分开来。他说，每个人都可以使用计算机；地下室团队必须比使用各自机器的其他团队更有优势。他接受机器智能可能加速整体经济增长，但这不必意味着增长集中于一个项目。

Yudkowsky 询问，原则上是否可能有一个程序利用现有硬件，以远快于人类的速度学习或生成有用内容。他说，如果可能，那么某个团体是否能率先获得它就更值得考虑，尽管这仍是另一个独立问题。

Hanson 指出，计算机已经加快了许多任务，却没有使整体增长发生压倒性的变化。Yudkowsky 回应，当时的计算机并没有运行具有人类式通用能力的算法；电子表格的速度本身不能解决这一假设问题。

Yudkowsky 勾勒了一条推测性路径：AI 吸收现有信息、提升能力，并利用物理世界中的服务。他提到蛋白质设计和订购合成材料作为示意性可能，而不是已经展示的能力或完整计划。

Hanson 说，如果一个系统的智力能力与其余人类相当或更强，那将是严重的问题。他的分歧在于这种系统如何产生：他预计大部分必要能力会通过许多改进逐渐积累，而不是来自一条突然出现的捷径。

一位观众问软件社区发挥什么作用。Hanson 认为，许多人使用的技术可以受益于他们的改进，孤立项目则失去这种帮助。Yudkowsky 反驳说，他观察到的 AI 研究项目并不以同样方式交换核心方法。

Hanson 预计成熟的智能机器产业会像汽车业一样形成标准、供应商和整合压力。Yudkowsky 设想的则是：在这种产业充分发展之前，一个研究原型就跨过关键能力门槛。

Yudkowsky 澄清，他不认为软件不可理解本身是一种优势。他的意思是，一个可运行的人工系统可能以生物大脑通常无法做到的方式接受修改和测试。他将其视为自我改进的可能来源，而非保证。

有人问，如果从未来带回一个强大的物件，它是否可能支配当下。Hanson 承认，能力足够强的物件可能危险。双方关注的问题是，这项技术实际上会如何发展，以及优势会出现在一处还是扩散到多个团体。

Hanson 提出全脑仿真是一种可能存在明显门槛的情景：扫描大脑、建立模型并运行。仿真在达到足够可用之前可能毫无用处；一旦成功，它就可能继承大量已有的思维内容。

Hanson 说，任何优势的集中程度还取决于仿真可行时的计算成本。如果计算已经很便宜，第一个成功的团体可能迅速制作许多副本。他承认这种可能，但认为这种特定的计算能力过剩情形相对不太可能。

Yudkowsky 认为这是一个可能快速获得大量内容的门槛，即使底层扫描技术是在广泛范围内发展的。两人对人类与黑猩猩的比较是否显示通用智能存在类似明显的架构门槛看法不同。

一位观众问，社交能力本身是否可能产生集中优势。Hanson 强调，软件通常被设计为与用户和系统合作；他并不假定机器获得社交能力就必然会反叛或占据主导。

另一个问题涉及政府保密和机密分级。Yudkowsky 认为，人们尚未充分理解构建智能的难度，研究可能更依赖优秀研究人员、方法和探索自由，而不是简单地增加人员或计算机。他怀疑政府主导的大型项目能否产生他设想的那种突破。

Hanson 说，在全面战争期间，对明显具有军事用途的技术保密可能有用，但保密往往有代价：团体会失去共享和更广泛发展的好处。Yudkowsky 质疑经济上看似有利的合作是否总会发生，并区分了有意交换和非计划的信息泄露。

Hanson 指出，在一些技术集群中，员工流动和地理接近会让想法在企业之间泄露。Yudkowsky 同意会有泄露，但认为这与企业有意交换最有价值的创新、同时排除其他人不同。

一位观众提出，发表部分成果和发布不完善产品的社会与经济激励，可能使进步逐渐发生。Hanson 同样强调交换的激励。Yudkowsky 回应，希望获得集中结果的团队可能有意隐瞒最重要的洞见。

有人问，人工大脑为什么会立即运行得更快，而不是一开始远慢于人类，从而给竞争者时间追赶。两人讨论了扫描、建模和计算的顺序与成本对大脑仿真情景的重要性。Yudkowsky 补充，设计出来的 AI 可能在某些任务上更快、另一些任务上更慢，而不是具有单一、统一的速度。

被问及自我改进软件或自我复制的纳米技术时，Hanson 说，辩论不只是反馈循环是否存在。他质疑的是优势的大小和局部性：许多团体都能获得的渐进改进，与一个团队取得压倒性领先并不相同。

Hanson 引用关于创新的经济学研究和自己从事 AI 研究的经验，解释为什么他预计会出现许多小幅改进和大量积累知识。他以自我修改系统 Eurisko 为例，指出其优雅机制本身没有带来无限进步。

Yudkowsky 质疑 Cyc 等以知识为中心的项目能在多大程度上支持 Hanson 的观点，并询问什么证据可以区分两人的预测。双方还对 AI 研究者在快速起飞问题上有多少共识发生争论。

一位观众质疑接管物理世界的难点：与交易所交互或建造工厂的 AI，将面临外部系统、延迟和大量领域专门知识。仅仅思考更快，并不能让物理经济瞬间运转。

Yudkowsky 用类比回应：人类建造工厂，并不需要直接访问产生生物的生物学机制。他推测，强大的智能可能建立新基础设施，而不是按原定方式使用每个现有机构。但这个类比无法确定这种转型实际会有多快。

Hanson 再次表示，他会认真对待具有文明规模智力能力的系统。他仍不相信，仅凭一般智能就能提供达到这一能力所需的具体知识。Yudkowsky 则认为，能力足够强的学习者可以迅速获取内容，包括从现有信息中获取。

Yudkowsky 列出数字系统的假设性优势：速度、检查和修改内部过程的能力、重复实验、复制，以及获取额外计算资源。他认为，许多人类研究者组合彼此努力的效率，可能不如单个系统整合内部过程的效率。

Hanson 回应，人的价值部分来自后天习得的具体技能，而不只是某种一般智能的衡量。他提醒，人类测试中的统计性一般智能因子，本身并不能证明存在一个可以扩展以解决所有任务的机器组件。

Yudkowsky 反驳说，学习或实验科学等广泛方法，可以在许多领域生成专门内容。Hanson 再次诉诸技术史，指出性能提升常由许多小步骤组成。Yudkowsky 接受在假设的初始自我改进阶段之后会有渐进提升，但预计早期会出现重大洞见。

一位观众问，从低于人类能力到高于人类能力的转型时间更短，是否会提高局部结果的可能性。双方都接受在其他相关速度不变时这一方向成立。Hanson 强调，如果创新被迅速共享，短暂的过程仍可能在全球分散发生。

两人讨论保密与扩散。Hanson 认为，团队经常泄露改进，因此难以在所有维度维持巨大领先。Yudkowsky 主张，如果少数决定性洞见由一个团体保留，它们可能比许多广泛共享的渐进进展更重要。

类比转向汽车与城市。Yudkowsky 更倾向于把智能看作设计可以改进的机器；Hanson 则更倾向于把有用智能看作一座城市，其力量分布在许多互补部分中。这两个类比都不能决定未来系统将如何构建。

一个关于速度快 20 倍的大脑仿真的问题再次凸显这种区别。Hanson 说，如果竞争者能制造类似系统，更快的仿真可以提高新经济体的整体生产率，而不一定让一个团队长期垄断。两人争论适度的成本或速度优势是否会主导市场。

总结时，Hanson 重申，他认为局部爆炸可能发生且值得研究，但不是最有可能的情景。他认为其他颠覆性未来，包括大脑仿真和可能的硬件能力过剩，也值得关注。他担心戏剧性的单一发明者故事会挤占对其他可能性的注意力。

Yudkowsky 总结时指出，他认为 Hanson 的观点依赖两个假设：智能的成因分散在许多小发现中；任何单个项目在总投入中占比都太小，不足以引发失控式领先。他怀疑这些假设，并预计一个可运行的原型会带来重要的改进机会。

Yudkowsky 指出，这场辩论尚未解决局部或分散式转型是否对人类有利；即使是广泛转型，也可能让生物人类落在后面。随后组织者公布非正式观众计票：辩论前 45 人赞成、40 人反对，辩论后 32 人赞成、33 人反对，更多人表示不确定。这不是科学民调。