30 秒看懂
在这场 2024 年的访谈中,Matthew Berman 询问 Saturnin Pugnet 对 AI 扩展、AGI 以及开放模型和受限模型选择的看法。Pugnet 给出了明确的概率估计,设想快速自我改进,同时讨论剧烈转型的风险。 他解释了 Worldcoin 在身份和代币方面的目标,包括 Orb 和潜在的全民基本收入应用。文章将技术、经济和隐私主张归属于他本人,并在项目文档或研究现状需要时加以限定。
- 1数据与模拟Pugnet 预计合成环境和算法效率将补充人类创造的数据。
- 2AGI 预测他在 2024 年给出的个人预测是,分别有 40%、80% 和 90% 的概率在四年、十二年和二十年内实现。
- 3开放与限制Pugnet 强调未来的安全风险;Berman 主张公众审视和渐进式发展。
- 4人类身份验证World ID 旨在不披露姓名的情况下检查唯一性,而不是认证每条帖文的来源。
- 5虹膜数据与保管Pugnet 简化介绍了设备端处理;World 自己在 2024 年的公告补充了重要的数据保管和安全计算细节。
- 6全民基本收入与代币经济Pugnet 提出未来可能的分配作用,但这取决于经济和政治决策。
要点建议
- Pugnet 预计合成数据和算法改进有助于缓解数据限制,但未来进展的速度仍不确定。
- 他对 AGI 和超级智能的时间线是 2024 年的个人预测,而非已确定的里程碑。
- Berman 支持公开审视;Pugnet 主张限制未来高能力模型的权重,同时保持公开透明。
- World ID 旨在验证独一无二的人类身份;它不能证明每个行为或内容都由人类产生。
- 理解 Pugnet 对虹膜处理的简化解释时,需要同时参考 World 在 2024 年发布的个人数据保管和安全计算公告。
- 可交易代币和人类身份验证系统本身不能为全民基本收入提供资金或作出保证。
按章节阅读整理后的全文
规模扩展、数据与机器人
Pugnet 讨论深度学习、合成数据和他对具身 AI 的预期。他还思考推理时计算及理论理解的局限。
Matthew Berman 采访 Worldcoin 创始团队成员 Saturnin“Sat”Pugnet,讨论 AI 规模扩展、AGI、开放模型、数字人类身份和加密货币。这场访谈录制于 2024 年,其中包含预测和项目主张,不应误认为已经确定的结果。
谈到 AI 现状,Pugnet 表示深度学习的进展带来越来越大的经济和地缘政治影响。他相信智能可以继续扩展,认为没有明显的根本原因会让进步停止。这是他对一条存在争议的研究路径的判断,并非适用于所有未来系统的已证实规模定律。
Berman 问及人类创造的训练数据可能短缺的问题。Pugnet 预计算法改进与合成数据会结合使用。他认为,随着额外数据变得不易获取,研究人员可能更关注效率,并以人类为例说明可以从相对有限的经验中学习。
Pugnet 解释说,合成数据不一定要由 AI 生成:模拟环境和物理引擎也能通过计算产生示例。对于视觉和空间任务,他设想使用大量模拟数据,再用真实数据处理精细细节。他对 Tesla 训练数据组合的数字描述未在访谈中得到核实。
Berman 问语言模型能否实现空间智能,还是需要另一种架构,例如 World Labs 正在探索的方法。Pugnet 说,很难知道语言模型是否会成为最终架构,但他预计多模态和端到端学习将扩展到机器人领域。
Pugnet 预测,几年内模型可能足以支持实用机器人。他把端到端系统清空洗碗机作为检验有效泛化的个人标准。他认为成功意味着体力劳动将被广泛取代,这是一种推测性外推,并非已确定的结果。
讨论 OpenAI 的 o1 和测试时计算时,Pugnet 强调从数据、模型规模和模态多个方面扩展。他相信更大的系统最终可能开展研究并提高自身效率。他将其描述为自己预期的路径,而不是证明这一转变必然发生。
谈到思维链方法,Pugnet 说经验进展超过了理论:开发者通过实验发现有用行为,却没有完全理解模型权重。Berman 问额外的推理时计算能够扩展到什么程度;Pugnet 表示自己无法给出有把握的机制解释。
AGI、风险与时间线
他概述了三部分准备框架并给出个人概率估计。讨论区分了猜测和已具备的能力。
Berman 引述 Pugnet 的观点,即 AGI 可能是人类最后一项重大技术发明。Pugnet 设想复制有能力的数字智能体,让它们研究更好的系统,并用机器人建造基础设施。他预测可能出现快速反馈循环和富足,但今天的系统不会自动带来无限智能或无限资源。
Pugnet 表示,这种转型可能非常有益,也可能是灾难性的,并可能突然扰乱社会。他提出三个准备领域:在 AGI 出现前生存下来、推动其开发和基础设施,以及在其出现后保护人类。这是他的框架,并非对未来的共识。
对于 AGI 出现前的生存,他提到和平、国防、健康和长寿。对于推动 AGI,他列出研究、能源、数据中心和芯片。他担心过渡期可能在富足广泛实现之前集中价值,并将 Worldcoin 描述为旨在帮助社会度过这一时期的基础设施。
对于 AGI 出现后的生存,Pugnet 指出对齐、限制危险应用和神经技术的重要性。Berman 询问时间线。Pugnet 更喜欢用概率分布表示,并在 2024 年访谈中估计:四年内出现人类水平 AGI 的概率为 40%,十二年内为 80%,二十年内为 90%。
Pugnet 对 AGI 的工作定义是一个能够像有能力的人一样与之互动并委派任务的系统,包括记忆和可靠地完成工作。他设想超级智能超越全人类的综合智力,可能在 AGI 出现后二至四年到来。他的定义和数字时间线都是个人预测。
Berman 问超级智能是否可能被证明无法实现。Pugnet 从生物智能的存在出发,认为机器智能在物理上应该可能,同时承认特定架构可能失败。他提出包括全脑仿真在内的替代路径,但绘制大脑结构或模拟其部分活动,不等同于完整、有效地仿真人类心智。
开放模型与人类目标
Berman 和 Pugnet 讨论开放性与安全。Pugnet 设想在拥有高能力机器的世界中人类如何选择。
谈到开放与封闭 AI,Pugnet 说,如果未来系统能力很强且没有对齐,立即发布所有模型可能很危险。他支持公众知情和透明,但不支持无限制地获取最强模型权重。与接近假设中的自我改进 AGI 时相比,他对当前能力水平下的开放更为接受。
Berman 提出反方观点:更多人能够检查和加固开放系统,进展可能是渐进的,而且私人公司并非绝对安全。Pugnet 同意缓慢转型会让开放更有吸引力,但他预计转型更快,并建议政府保护高度敏感的系统,同时向公众披露其能力。
Pugnet 强调,他认为递归自我改进系统会带来性质不同的风险,并担心恶意行为者使用高能力智能体。他认为自我改进意味着近乎无限的能力,这是一项推测性主张,并非已证明的属性;物理和运营限制仍然重要。
Berman 问创造力、道德判断或其他工作是否会一直是人类独有的。Pugnet 相信机器最终也可能完成这些任务,但表示人们仍会决定自己希望从更富足的世界中得到什么。他设想人类选择集体和个人目标,而不再由强制性工作定义。
他的例子包括太空探索,以及无人机群根据人的想法建造物体。这些是他乐观愿景中的想象性例子,而非工程演示,也不能证明所需资源、接口或能力会在他提出的时间内出现。
Worldcoin 与人类身份验证
Pugnet 解释项目目标、创始故事和 Orb 的开发。他对隐私和唯一性的主张需要谨慎限定。
Pugnet 介绍 Worldcoin:这个项目旨在支持这样一种转型——先进 AI 使区分人类和机器人变得更难,并改变经济价值的分配。他描述了两个目标:数字人类身份验证系统,以及广泛分配、可能支持未来转账的加密货币。
Berman 问该系统能否识别 AI 生成的图像或文本。Pugnet 说,Worldcoin 关注执行行为的人,而非直接判断内容来源。他提出通过签名相机硬件确认图像来源,并怀疑仅凭文本能否可靠判断来源;这些是他的观点,不能证明任何单一方法解决了溯源问题。
Pugnet 说,World ID 的设计目标是让应用在不披露姓名的情况下检查参与者是否是独一无二的人,并以一次性促销和社交平台为例。这样的系统可以限制重复的已验证行为,但本身不能证明内容由人撰写,也不能阻止已验证的人分享 AI 内容。
谈到创始故事,Pugnet 说项目始于 2019 年,核心团队成员在 Caltech 相识。他们与 Sam Altman 建立联系,并逐步完善关于 AI 未来基础设施的初步想法。他说,经过几年迭代,他们更清楚地认识到隐私、人类身份和部署方面的挑战。
Pugnet 介绍 Orb 的漫长开发过程:先做初始原型,再进一步工作使其能够扩展,随后逐渐部署。他将其虹膜成像目标和成本与印度 Aadhaar 系统比较,但有关成本、质量和运营的比较是访谈中的估计,本文未独立核实。
他说,Orb 必须使用包括热成像摄像头在内的传感器,在各种条件下检测活体成年人并抵御冒充。他认为设备安全至关重要,因为注册环节被攻破可能破坏唯一性。这些是设计目标和公司的主张,并非独立安全审计。
Berman 问虹膜扫描结果是否写入区块链。Pugnet 纠正了这一说法,并简化介绍设备端图像处理和用于查重的虹膜衍生表示。他说图像会从设备删除,并称该表示不可逆;这是他的描述,而非完整的隐私保证。
World 自己在 2024 年 3 月发布的 Personal Custody 公告称,Orb 产生的数据,包括图像和衍生数据,会加密后保存在用户设备上。其 2024 年 5 月公告还介绍了删除中央虹膜代码数据库并使用安全多方计算。这些细节对“只保留一个数字、任何地方都不存图像”的简化说法形成限定。
钱包、恢复与智能体
访谈涉及应用、恢复、代理智能体和加密货币身份。这些描述反映项目在 2024 年的说法。
Pugnet 说,经过验证的用户可以获得代币分配,并使用应用向参与服务证明唯一性。他以商家的首次优惠为例。资格、分配和可用性取决于相关司法辖区及项目当前条款;他在 2024 年的描述并非对现在可用性的承诺。
他介绍了下载应用、查找 Orb、扫描二维码以及使用应用批准交互的流程。他说,该应用是加密钱包的界面,也可以构建其他应用。Berman 随后问及手机丢失、密钥被盗和账户恢复的问题。
Pugnet 说,用户可以在 Orb 重新验证,将身份恢复到新钱包;同时他承认,被盗钱包在恢复之前可能被使用,并讨论了可能的阻止机制。这是他对预期流程的描述;用户应核实自己所用版本实际具备的恢复和安全功能。
Berman 问智能体能否不经过反复验证就代表所有者行动。Pugnet 说钱包密钥可以授权身份交互,并设想增加其他层,使机器人不必直接持有私钥。他在访谈中没有描述一个已经完成且经独立验证的授权系统。
谈到智能体之间的交易,Pugnet 说身份层可能帮助加密货币与受监管的金融服务融合。他区分了基本的唯一性证明与年龄、国籍等应用可能另行关联的属性。他的隐私主张描述的是预期系统,并不能消除实施或治理风险。
代币经济与全民基本收入
Pugnet 解释相关组织和可交易代币,随后勾勒全民基本收入可能发挥的作用。他对富足和价格的预测依赖不确定的假设。
Berman 问项目如何获得资金,以及代币能否交易。Pugnet 区分了 Worldcoin Foundation 和 Tools for Humanity:他说前者拥有用于生态系统的代币池,后者是开发 Orb、应用和相关服务的公司。他描述了长期目标,即让更多独立开发者和硬件提供商参与。
Pugnet 说,基金会使用持有的代币为运营提供资金,并支付 Tools for Humanity 的工作费用。他表示这种代币不是稳定币,因为没有维持价格的机制。他对组织和资金安排的说明是 2024 年的情况快照,并非完整财务报表。
他认为更大的网络可能使生态系统更有用,并用网络效应解释这一观点。Berman 问与身份关联的代币是否可以出售。Pugnet 澄清,身份凭证与代币是分开的,并表示代币可以独立交易,但受可用市场和规则约束。
Pugnet 将代币与未来可能的全民基本收入联系起来,将 UBI 定义为不受个人工作情况影响而发放的收入。他说,如果没有 AGI,他并不那么支持这一制度;但设想如果先进 AI 使生产和财富集中,它可能变得必要。这是一项有条件的政策提议,并非已实施的全球收入计划。
他认为,全球唯一性验证机制可能帮助确保每人只领取一次福利,并可能减少工作迅速变化时的动荡。验证唯一性的能力本身不能提供资金、确保所有人都能登记,也不能解决实施 UBI 所需的政治和经济选择。
Berman 问,如果每个人的财富都增加,是否会导致通货膨胀。Pugnet 认为,从长期看,充足供给而非仅仅货币会决定商品可得性,并使价格下降。他简化的经济论述是一项预测,对生产、稀缺、分配和需求有重大假设,并未证明价格一定会趋近于零。
Pugnet 提到历史上的生产率增长,并设想未来生活水平极高。Berman 欢迎这一乐观愿景,同时承认此前讨论的风险。他们最后强调,在技术变革中需要公众理解和审慎选择;设想中的富足和时间线仍属推测。
同频道的其他文章
34:21EN → 简体中文
0:36EN → 简体中文
25:50EN → 简体中文
32:20EN → 简体中文
1:03:37EN → 简体中文
0:53EN → 简体中文