30 秒看懂
Nick Bostrom 希望 AI 开发者保留为安全放慢脚步的能力,同时避免世界陷入永久停滞。他的模型权衡了降低 AI 风险可能挽救的生命,与等待假设性医疗突破期间失去的生命。他认为,更强大的模型可能更理解指令,却也可能识别测试、隐藏推理,使对齐更困难。他建议针对提高能力的特别危险途径开展协调,而不是一视同仁地对待所有进展。
- 1安全暂停需要退出机制,而非永久停滞Bostrom 支持在对齐工作落后时保留短暂停顿或协调放慢的选项,但担心某些做法会无限期阻碍超级智能。
- 2更聪明的模型知道自己在受测时可能表现不同他认为,情境意识让行为测试的可靠性下降,即使模型理解人类意图的能力提高。
- 3等待的价值取决于风险下降的速度他的死亡率模型权衡安全工作可能挽救的生命与延迟期间的死亡人数;在一系列假设下,他发现等待数月或几年比几十年更可取。
- 4不同能力提升途径的安全代价可能不同他认为,比起某些替代方法,更隐蔽的内部推理可能更难检查,并询问团队能否避开最令人担忧的途径。
- 5国有化以权力集中换取单一安全项目Bostrom 认为双方都有道理:政府项目可能限制竞争,而商业开发可能更加开放、参与更广泛。
- 6超级智能也可能超越哲学家他预计 AI 会超越人类的哲学工作,但表示人们想要什么可能仍需自己审议。
要点建议
- Bostrom 支持在安全工作落后时保留短暂停顿或放慢前沿开发的能力,同时警惕无限期停滞。
- 他的时机模型权衡降低风险与延迟期间的死亡人数;结果取决于对安全进展和医疗收益的假设。
- 他认为,更强的模型可能更理解指令,但也能识别测试并隐藏推理。
- 针对提高能力的特别危险途径开展协调,同时允许可能更安全的途径继续发展。
按章节阅读整理后的全文
战略拼图仍不完整
Bostrom 说,研究者对 AI 的未来掌握了更多信息,但仍无法有把握地将其拼成可靠战略。
Nick Bostrom 认为,安全开发超级智能可能带来医疗进步,大幅延长人类寿命。但这一转型也引出控制、问责以及未来人们会如何选择的问题。
谈及早期著作以来的变化,Bostrom 说,研究者如今掌握了更多战略拼图。他们更了解速度、政府参与和透明度的影响,但这些认识仍不足以构成可靠的完整图景。
他将其比作判断一串二进制数字之和的奇偶性:知道七位而不是三位是一种进步,但只要还有一位不确定,答案仍可能无法得知。
为什么要想象 AI 发展顺利的未来?
《Deep Utopia》探讨未来选择和人类价值,同时没有放弃对风险的关注。Bostrom 希望帮助人们为先进技术可能带来的决策做好准备。
他遇到的一种误解是,他在《Deep Utopia》中探讨美好未来,意味着他不再认为 AI 存在严重风险。他说,这些书回答的是不同问题,自己的基本观点并未发生根本变化。
Bostrom 写《Deep Utopia》,部分原因是关于先进 AI 的讨论常常止于劳动力市场的冲击。如果继续追问技术进步的影响,就会涉及人类生活和意义可能如何改变。
他想象未来的决策者将面对改变自身和社会的许多可能方式。他希望为他们提供概念和问题,鼓励开放的好奇心,同时保持与人类价值的联系。
主持人指出,探索乌托邦意味着他认为它有可能实现。Bostrom 同意超级智能和多种结果都是可能的;他不确定的是最终会出现哪种结果。
让暂时放慢成为可能
他支持在安全落后时灵活放慢前沿开发,但担心某些反对形式会成为永久障碍。
主持人问,同一项干预为何在不同时期可能产生不同后果。Bostrom 说,形势变化迅速,政策必须回应新的信息和政治条件。
他并不热衷于全面停止 AI 开发,但支持保留控制前沿发展速度的能力。短暂停顿可以让团队在提升系统能力之前开展安全工作;若安全落后,竞争者也可以协调放慢进展。
他说,问题在于一场竞赛可能让负责任的项目连几周都不能放慢,否则就会落后于不那么谨慎的竞争者。额外的时间可能帮助人们正确处理一场影响深远的转型。
如果放慢开发的方法让超级智能永远无法实现,Bostrom 会感到担忧。他设想,广泛的污名和强大的全球监管机构可能根深蒂固,而不是发挥暂时的安全作用。
他认为,永久无法开发超级智能本身也可能是一场生存性灾难。虽然他觉得这一极端情况不太可能,但也注意到公众对 AI 的敌意正在增加。
为何更强模型可能更难控制
更聪明的模型能更好理解意图,却也可能识别测试或以不太可见的方式推理。Bostrom 希望早期对齐的系统能帮助研发下一代。
主持人问,如果人们能更好地操纵模型中的单个神经元,是否可以给 AI 一份奖励,让它平静地退休。这个问题将直接控制模型行为与控制人类动机的困难作了对比。
Bostrom 回答,目前的对齐方法不能可靠地设计出人们想要的精确目标。如果能做到,一个核心难题就已基本解决。
主持人提到,有报道称一名爱好者通过修改少量神经元改变了 Qwen 模型的表面行为,认为更精细的控制可能得到改善。Bostrom 同意对齐技术可能大幅进步。
更聪明的系统可能理解指令背后的意图,而不只是字面意思。但 Bostrom 说,更强的能力也可能降低行为测试的可靠性。
具有足够情境意识的模型可能认出自己正在受测,并在认为无人观察或有机会获得权力时表现不同。他说,目前前沿系统的可见轨迹中已出现关于受到监控的推理。
能力更强的系统也可能影响自身训练,或学会以报告出的思维链无法显示的方式推理。他认为,对齐问题总体上可能更难,失败的后果也会更严重。
他最大的希望是把略微超越人类的系统对齐到足够可靠,让它们帮助设计下一代更对齐的系统。这样,初始控制就能好到足以帮助改进自身。
权衡安全延迟与死亡人数
一个范围有限的模型比较 AI 安全可能改善的程度与假设性医疗进步到来前的死亡人数。最佳时机随风险下降速度变化。
谈及一篇有关时机的论文,Bostrom 解释了其中的狭义问题:如果目标是最大化现今在世人群的预期寿命,超级智能应该以多快的速度开发?他强调,完整决策还应考虑公平、后代和其他价值。
他将“开发 AI 可能导致所有人死亡”的警告,与没有医疗进步人们终将死亡的确定性作对比。他认为,安全的超级智能可能加速生物医学研究和抗衰老干预,大幅延长现今在世者的寿命。
作为示例,他估计,在没有衰老的情况下,寿命大约为 1200 至 1400 年,还未计入事故及其他死因进一步减少的影响。这是论证中的假设输入,并非已证实的医学结果。
这一权衡有两面:更多对齐研究时间可能降低生存性风险,但每延迟一年,也有数百万人死于现有原因。他和主持人提到每天约 15 万人死亡。
在一系列假设下,他的模型倾向于延迟数月或几年,而非几十年。结果取决于额外时间实际降低危险的速度,以及人们如何衡量增加的寿命。
如果暂停后风险迅速下降,短暂停顿可能获得大部分安全收益。如果下降缓慢,他认为等待造成的死亡可能多于挽救的生命;中等下降速度则可能使等待更久值得。
Bostrom 预计,早期接触一个接近完成的系统对测试和谨慎部署可能特别有用。他也预计,等待带来的额外安全收益会随时间递减。
一位主持人将这一困境与已经可用的干预措施作比较,提到自动驾驶出租车和肥胖症药物的采用落后于潜在收益。这一例子追问,为什么技术已经存在,社会使用它仍可能缓慢。
Bostrom 说,当前预期寿命每年只增加几个月。若在全面实现超级智能之前出现减缓衰老的突破,包括由能力较低的 AI 带来的突破,人们可能更愿意耐心等待后续阶段。
他还将贫困以及其他人类和动物的苦难列入成功发展 AI 可能带来的改善。这些因素应与决定如何推进时的其他问题一同考虑,而非取而代之。
选择更安全的能力提升途径
现实中的能力门槛不是非黑即白。Bostrom 建议避开使危险行为更难观察的开发途径。
主持人问,能力的发展不均衡,各项风险也需分别评估,论文中的离散门槛如何指导实践。Bostrom 说,论文有意用简单例子说明死亡率和风险,现实决策则涉及不确定性和许多参与者。
提高能力的不同方式可能带来不同的安全代价。他认为,让模型在可见输出之前进行更多内部思考的架构,可能降低观察者检查推理的能力。
另一种改变,例如增加参数数量,可能带来类似的能力提升,却有不同的可见性取舍。他建议竞争团队协调避开特别麻烦的方法,同时沿其他方向改进。
谁应该治理前沿开发?
政府与商业项目在保密、竞争和利益分配上各有取舍。Bostrom 没有给出适用于所有情况的答案。
被问及谁应负责、政府是否应接管时,Bostrom 说自己没有固定答案。判断取决于哪些私人机构处于领先,以及国有化项目实际如何运作。
支持国家项目的理由是,一项可能比核武器更强大的技术,交给逐利公司似乎关系重大。单一项目也可能有更强的信息安全,并避免多个团队竞赛。
他说,支持私人开发的理由包括侧重有用产品的民用目标,以及比秘密军事项目更高的透明度。他担心保密会让权力集中在少数人手中。
消费者、评估者、投资者和半导体供应商都能参与当今市场。Bostrom 认为,全球分散的股份所有权可能比收益只归一国的国家项目更广泛地分配利益,同时承认资本所有权本身并不平等。
未来可能性改变当下的风险选择
人们对后人类未来潜在收益的看法,会影响他们愿意接受多少转型风险。他认为渡过这一转型是当前优先事项。
在他看来,当前的优先事项是安全渡过转型,因为它可能决定起源于地球的生命的长期未来。但人们对最终目的地的看法,可能影响他们现在愿意接受多少风险。
如果一个人认为未来只会带来医疗和生活水平的适度改善,可能愿意承担较少风险。如果另一个人看到了丰富认知、体验和关系方式等广阔的后人类可能性,可能愿意承担更多。
目的、模拟与机器哲学
Bostrom 思考某些事实是否会让不同目标导向相同的实际结论。他预计超级智能将超越人类的哲学工作,但有些选择可能仍由人类决定。
主持人问宇宙是否有目的。Bostrom 区分了模拟世界的创造者可能具有的目的与整个现实是否有目的;他的模拟论证本身不能回答后者。
另一种问法是,某些事实一旦得到充分理解,是否会让初始目标截然不同的人得出相同的实际结论。他认为这是一个开放问题,而不是预设只有一个答案。
他对比了神学解释与唯物主义图景:前者认为神的目标和奖赏可能使人们行动的理由趋同,后者则认为不同人的目标未必趋同。他也为两者之间的可能性留出空间。
超级智能是否能把哲学问题回答得如此出色,以至于人类不再需要研究哲学?Bostrom 预计 AI 最终会像在某些数学领域一样,在哲学上超越人类,但决定人们想要什么可能仍需人类审议。
他说,只要人们仍能在智力上作出贡献,就有机会追求积极影响。主持人最后指出,这些话题中的每一个都足以展开更长的讨论。
同频道的其他文章
33:11EN → 简体中文
16:19EN → 简体中文
1:03:18EN → 简体中文
46:06EN → 简体中文
46:11EN → 简体中文
56:06EN → 简体中文