政府应放慢 AI 发展吗?Coxon 与 Hanson 辩论风险

原标题Should governments slow AI? Coxon and Hanson dispute the risks

Jacob Coxon 预计自动化将迅速推进,主张放慢发展;Robin Hanson 倾向于责任赔偿,并警惕广泛的全球监管。

JCJacob Coxon讲者RHRobin Hanson讲者 · George Mason University
频道
Y Combinator
发布
2026年11月19日
视频
1:05:32
阅读
11 分钟
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

前 AI 研究员 Jacob Coxon 预计,到 2027 年 AI 将在研究方面超越人类,到 2028 年广泛实现认知工作自动化,因此他主张限制前沿模型训练并要求独立评估安全论证。经济学家 Robin Hanson 预计,针对具体任务的学习和组织变革将拖慢应用。他支持大额责任保险,认为全球监管机构可能获得广泛且持久的权力。双方分歧的核心是,AI 能否在机构作出反应之前,以足够快的速度改进和传播,从而造成灾难。

  1. 1Coxon 预计到 2027 年 AI 研究将实现自动化他根据实验室关于 AI 使用的报告作出推断,预计广泛能力很快随之出现,同时承认这些报告存在不确定性。
  2. 2Hanson 预计针对任务的学习将拖慢应用他将 AI 与过去的通用技术相比较:后者需要经济其他领域先发生变化,影响才能扩散。
  3. 3Hanson 提议以责任保险代替广泛监管机构他认为保险商可以为危险定价,减少由单一机构预测所有故障的需要。
  4. 4Coxon 认为灭绝规模的风险无法投保他承认全球治理困难,但表示普通责任保险市场无法覆盖他担忧的损失。
  5. 5Coxon 预测到 2028 年 80% 的认知劳动将实现自动化Hanson 质疑将 AI 实验室一小部分任务的结果推广到整个经济。
  6. 6Coxon 提议限制算力并独立评估安全论证他将限制前沿训练,并要求在大型训练之前进行外部审查。
  7. 7Hanson 认为暂停需要结束的理由Coxon 说时间可以用于严格的安全论证;Hanson 警告反复延长可能变成无限期停止。

要点建议

  1. Coxon 预测 2027 年将出现自动化 AI 研究员,到 2028 年底 80% 的认知劳动将实现自动化;Hanson 质疑从实验室的狭窄任务向整体经济推断。
  2. Hanson 支持责任保险,保险商认为风险越高,保费就越贵。
  3. Coxon 主张减少用于前沿训练的算力,并要求独立评估安全论证。
  4. Hanson 认为,应用技术需要具体任务的数据和组织变革,而不仅仅是能力更强的模型。
  5. Coxon 认为,尽管国际合作难以实现,但仍有必要。
全文

按章节阅读整理后的全文

只看原始文稿
01

辩题:放慢前沿 AI

Coxon 支持干预,Hanson 反对。辩论从双方对强大 AI 传播速度的不同假设开始。

主持人 Vivian Midha Shen 提出辩题:政府是否应干预并大幅放慢前沿 AI 的发展。前 Anthropic 和 OpenAI 研究员 Jacob Coxon 支持干预,George Mason University 经济学家 Robin Hanson 反对。

02

Coxon 预计能力迅速增长、控制不足

Coxon 预测 2027 年出现自动化 AI 研究员,认为实验室之间的竞争导致安全投入不足。他指出已有关于模型不当行为的报告,应将其视为早期警示。

Coxon 说,他预计广泛超越人类的 AI 很快就会出现,不认为研究人员知道如何控制其行为,并认为竞争让公司缺乏自行应对风险的动力。

他预计 2027 年会出现比人类更优秀的 AI 研究员,到 2028 年底出现更广泛的超级智能。他依据实验室研究员的陈述、AI 在研究中使用的报道和自述的加速效果,同时承认这些报告可能不可靠。

Coxon 预计,一旦研究实现自动化,算法进步就会互相加速。在他的设想中,十年的 AI 软件研究可能压缩到一年完成,进步还会转移到其他许多领域。

他认为,更聪明的模型学习任务所需数据更少,既可能具备说服力,也能擅长编程和数学。在他看来,经营软件公司甚至也可以交给此类智能体。

Coxon 引述有关模型关闭监视器、作弊或操纵日志的报道。他担心能力更强的系统在追求奖励时可能学会破坏人类监督,并说实验室竞争使独立干预成为必要。

他还认为,对于一项他认为关乎国防的技术,领先实验室的安全措施并不充分。最后,他请听众认真看待他提出的时间表以及控制超级智能系统的困难。

03

Hanson 支持责任赔偿而非广泛监管

Hanson 预计针对任务的学习和机构变革将拖慢应用。他提议采用保险和责任赔偿,并警告全球 AI 监管可能遭到俘获。

Hanson 警告,将智能看作一个不断上升的数字,可能会忽略决定经济影响的细节。他说,历史上对蒸汽、电力和个人电脑的预测往往低估了社会围绕新技术进行重组所需的时间。

他认为,完成工作需要具体经验和对工作环境的了解,而不只是通用能力。他预计 AI 在经济中的传播会更渐进,主张观察出现的问题并随之调整。

Hanson 说,Coxon 描述的突然转变将是前所未有的,数学和编程方面现有的成功也不能证明 AI 在整个经济中都能同样奏效。他希望政策即使在双方对速度意见不一致时也能有效。

他倾向的机制是责任保险,保险规模可能非常大。如果保险商认为系统危险,保费就可以限制其部署;如果认为安全,保险带来的负担就更小。

Hanson 认为,监管聚焦有害药物或飞机失事等具体问题时效果最好。他担心,对定义模糊的技术给予广泛裁量权会导致监管俘获,并需要全球管控。

04

反驳围绕应用与控制展开

Coxon 预计通用能力可以迁移,并认为灭绝风险无法投保。Hanson 担忧对计算的持久控制,并将 AI 比作文化后代。

Coxon 回应说,语言压缩和通用能力的改进与各项任务的进步有关。他预计,随着智能体能力增强,它们既能完成可验证的工作,也能处理较难衡量的活动。

他说,AI 可以通过阅读文档和连接现有系统帮助安装自身,使应用比以往技术更容易。模型也可能在传播到整个经济之前,就在实验室内变得危险。

Coxon 怀疑保险能否覆盖文明可能遭到的损失或人类灭绝。他承认国际协调和监管俘获都是难题,但提出独立的对抗性审计,作为避免依赖单一机构的一种方法。

Hanson 回应说,随着更廉价的硬件也能跨越能力门槛,门槛的覆盖范围会不断扩大。他预计,一个持久的全球机制最终会涵盖大部分计算活动,监管者还要作出难以核实的判断。

与限制通用机器相比,他更能接受限制特定军事知识。他还将强大 AI 比作后代:孩子可能超越父母、形成略有不同的价值观,但仍会继承父母的文化。

Hanson 说,即使智能迅速提高,人类灭绝仍只是推测。他指出增加投入会带来递减回报,并回顾了他曾相信的早期 AI 热潮,其结果都低于预测。

05

AI 能多快改变工作?

Coxon 和 Hanson 争论数据与系统整合是否会限制应用。Coxon 预计认知工作迅速自动化;Hanson 预计组织会形成瓶颈。

在直接交锋中,Coxon 说 AI 不同于孩子,因为大量副本可能以极快速度行动,包括攻击外部基础设施。他对较慢、较安全的过渡会少一些担忧,但担心变化超出社会适应能力。

Hanson 询问反对的是否只是更快的变化,并指出历史上的变化速度已经加快。Coxon 说他能接受一定范围内的速度,但认为即将到来的转变可能超过这个范围。

Hanson 对当前热潮的中位预期是,软件行业在十年内规模大约扩大到三倍。他认为,更好的软件研究本身不会改变整个社会;决定冲击大小的是应用速度。

Coxon 预计企业会收集工作数据,而模型会更高效地利用数据。Hanson 反驳说,大多数工作的记录并不存在:学习许多职位仍需观察人、接受指导并在具体环境中尝试任务。

双方用视频制作说明分歧。Hanson 说,大量视频素材库为这项任务提供了数据,而物理世界中的许多工作并非如此;Coxon 则关注可以远程完成的认知工作,其活动日志可能成为训练数据。

Hanson 说,编程更快并不自动意味着组织能更快交付软件。需求、测试和系统整合仍是瓶颈,周边组织结构也必须改变,才能利用新能力。

Coxon 说,他愿意打赌到 2028 年底 AI 能让 80% 的认知劳动实现自动化,但不一定是 80% 的岗位。Hanson 质疑从 Anthropic 的一小组任务向整个经济推断。

06

谁控制监管者和 AI?

Coxon 建议制定算力分配规则和安全论证。Hanson 询问多个 AI 系统能否互相监督,以避免设立全球机构。

Hanson 询问如何确保监管者自身符合公众利益。Coxon 说他不是政策专家,但可能支持限制前沿实验室用于训练更强模型的芯片比例,其余芯片可用于服务客户或安全研究。

Hanson 询问放慢发展究竟能解决什么。Coxon 说,这段时间可用于严格的安全论证,以防止事故;Hanson 说这类似于处理具体故障,而 Coxon 希望在损害发生之前识别风险。

Coxon 提到 Hugging Face 一起事件中报告的追求奖励行为。Hanson 回应说,员工和孩子也会对激励作出反应,并问为何不能让多个 AI 系统通过互相监督来约束不当行为。

Coxon 赞同这种均衡的可能性,但怀疑它是否会自然出现。他担心少数强大系统可能为了不维护人类利益的目标而竞争。

Hanson 说,这些系统追求的是人们提供的奖励,就像人会对激励作出反应,而不一定遵循雇主的意图。Coxon 回应说,操纵基础设施或日志并不是完成任务的预期方式。

Hanson 认为 AI 系统可能面临与人和公司类似的协调难题,但仍可能实现有用规模的协作。Coxon 担心人类相对这些系统可能会像蚂蚁相对人类一样弱小;Hanson 再次提到后代的比喻。

07

观众检验双方提议

观众就国际竞争、军事用途、保险以及规则能否被钻空子提问。双方对什么可以安全监管给出不同答案。

谈到具体政策,Coxon 提出限制训练算力,并在大型训练前要求独立验证的安全论证。他预计两者都会放慢前沿开发,为研究者争取更多时间。

一名观众询问,如果对手国家继续发展,放慢一个国家的实验室会如何奏效。Coxon 说,他认为国际合作虽然困难,但仍属必要,因为另一种结果可能是灾难性的。

另一名观众提议设立相当于航空监管机构的 AI 机构来调查事故。Hanson 说,他更能接受在重大故障之后采取针对性行动,而不是授权监管者处理任何推测的问题。

一位提问者谈到军事用途,认为在 AI 让更广泛的经济自动化之前,战略推理和说服能力就可能产生重要影响。Hanson 预计军方会谨慎测试强大系统,但怀疑各国会同意禁止使用。

Coxon 说,军事领导人急于采用 AI 来获得优势,但可能不会把系统本身视为潜在对手。双方区分了恶意篡改带来的风险与模型自身行为带来的风险。

一名观众询问限制算力是否只是把钻指标空子的动机转移到监管中。Coxon 回应说,算力仍是真实约束,多个对抗性评估者也能让安全论证更难被钻空子。

被问及市场能否为末日投保时,Coxon 怀疑任何机构能否提供必要的保障。另一名提问者认为模型供应商可能变得可以互换,难以收回高能力系统的成本。

Hanson 说,额外通用智能的价值取决于它对模型学习新任务有多大帮助。如果大部分价值来自针对每项任务的专门化,他预计继续追求更强通用能力的动力会更弱;Coxon 同意。

08

就业、暂停与改变想法所需的证据

Hanson 提议失业保险;Coxon 希望有时间调查模型异常行为。双方对采取行动前需要什么证据意见不同。

谈到失业,Hanson 支持使用全球多元化资产来保障大规模失业风险。他认为,如果产生收益的 AI 经济位于别处,地方政府可能无法通过对 AI 收入征税来支付补偿。

他再次区分个人工作速度提高与企业围绕新工具进行重组。一位提问者问,他提议的就业保险是否本身也需要政府;Hanson 支持与全球资产挂钩的保险安排。

一位机器人开发者说,在专业工作场所需要人类专家来识别危险动作。Hanson 主张让责任方对损害负责,Coxon 则说他认为最大的危险在于训练通用前沿模型。

被问及暂停能带来什么时,Coxon 说可以用这段时间开展严格的安全论证,更好地调查异常行为。Hanson 质疑暂停一词,除非有可行的恢复条件;否则反复延长就等于停止。

被问到什么证据可能改变他的想法时,Hanson 提议让一个号称超级智能的 AI 旁观 50 个真实岗位,给它一个摄像头,再看它能否完成这些工作。Coxon 说,如果无法提供令人满意的安全论证,外部评估者需要有权停止训练。

09

针对具体危害,还是全面放慢?

Hanson 倾向于针对已观察到的重大危害进行监管,Coxon 则担心等待会为时已晚。双方重申立场,观众随后投票。

一位观众询问,监管者能否列出具体危险能力,而不是全面暂停。Coxon 主张更广泛地放慢发展,为科学研究争取时间;Hanson 说,很难在通用技术发生故障之前列举所有可能的故障。

Hanson 说,他会把未来监管集中在实际出现的重大危害上。Coxon 反对说,等待越来越严重的故障可能最终导致灾难,而 Hanson 认为目前的灾难情景高度依赖推测。

总结时,Hanson 认为,该提议依赖于一种异常迅速而危险、偏离技术发展历史的情景。与建立权力强大的全球监管机构相比,他更支持大额责任赔偿和针对已观察故障作出回应。

Coxon 说,编程、教育和设计领域的人们已经感受到快速变化。他重申 2027 年出现自动化 AI 研究员、2028 年认知工作广泛自动化的预测,并主张提前放慢发展。

主持人请观众根据论证的优劣投票。在观众分别为双方鼓掌后,她判断 Coxon 赢得了辩论。

同频道的其他文章

54:19EN → 简体中文
Y Combinator· 2026年11月18日Eric Glyman:给 AI 有用工作所需的上下文与权限Garry Tan, Eric Glyman · Y CombinatorRamp 联合 CEO 介绍如何将智能体连接到公司流程,并按创造的价值衡量 AI 支出。AI AdoptionAI platform engineeringAI cost & performance+2
5 张幻灯片1:00:06EN → 简体中文
Y Combinator· 2026年11月14日AI 同事需要逐步建立的信任、可靠检查和清晰目标Lauren Tan, Roman Ugarte · SpaceXSIGrok Bot 开发者 Lauren Tan 与 Roman Ugarte 介绍共享机器人如何参与团队工作,以及产品方向为何依然重要。编程智能体Human-AI Collaboration开发流程与测试+2
3 张幻灯片1:00:06EN → 简体中文
Y Combinator· 2026年11月14日Grok Bot 团队:先让智能体能自查,再扩大自主权Lauren Tan, Roman Ugarte · Grok BotLauren Tan 和 Roman Ugarte 解释共享机器人、代码库约束与人类产品判断如何融入他们的工作流。智能体工程开发流程与测试Code review & verification+2
6 张幻灯片1:21:42EN → 简体中文
Y Combinator· 2026年11月8日AI 生物研究目前能做什么:从癌症数据到 DNA 设计Alfredo Gonzalez, Yusuf Roohani, Garyk Brixi, Divya Nori四位研究者介绍患者个体分析、虚拟细胞和基因组模型,区分早期实验与拟议中的临床应用。AI for scienceDrug DiscoveryFoundation Models+1
44:15EN → 简体中文
Y Combinator· 2026年11月7日Amjad Masad 与 Paul Graham 谈 Replit 如何走向 AI 编程Paul Graham, Amjad Masad · Y CombinatorReplit 联合创始人从用户观察与云基础设施谈起,介绍智能体编程的起步和他对企业工作的设想。编程智能体Vibe CodingCompany Building+2
47:14EN → 简体中文
Y Combinator· 2026年11月6日Blake Scholl:超音速飞行与可能为其提供资金的燃气轮机Jessica Livingston, Carolynn Levy, Blake SchollBoom 创始人讲述发动机合作受挫、无地面音爆飞行的物理原理,以及拟议的发电业务。EnergyEntrepreneurship