30 秒看懂
2024 年 11 月,Matthew Berman 讨论了一篇材料科学预印本,并推测自动化研究和智能爆炸的可能性。**2025 年 5 月,MIT 表示对论文的数据或研究没有信心,并要求撤稿;arXiv 管理员随后撤回了该论文。** 论文中的数字不应作为证据。视频还讨论了 AlphaFold 和 Sakana AI 的实验性 AI Scientist,但两者都没有证明失控的自我改进已经发生。
- 1研究已撤稿MIT 表示对预印本的数据或研究没有信心,arXiv 管理员于 2025 年将其撤回。
- 2AlphaFold 的实际贡献2024 年诺贝尔奖表彰了蛋白质结构预测和计算蛋白质设计,并非预测所有可能的蛋白质。
- 3不要依赖相关数字视频引用了已撤回论文中有关生产率和专利增长的数字;MIT 建议不要依赖其研究结论。
- 4推测性的反馈循环Berman 的智能爆炸设想是一种预测,并非他所引用实验中已证明的结果。
要点建议
- 核心预印本在 MIT 表示对其数据或研究没有信心后被撤回;不应依赖其数值结论。
- AI 提议的材料仍需经过验证和开发,才能成为可用产品。
- AlphaFold 推进了蛋白质结构预测,但并未验证所有可能的蛋白质结构。
- Sakana AI 的 2024 年演示限于机器学习研究工作流,并未证明智能爆炸。
- 递归自我改进及其社会后果是主持人讨论的假说,而非已确立的结果。
按章节阅读整理后的全文
研究更正与智能爆炸假说
视频的核心预印本在 MIT 对其数据提出严重质疑后被撤回。Berman 介绍一种推测性的递归改进设想。
**研究更正:** 这段 2024 年 11 月视频讨论的主要材料科学论文后来被撤回。2025 年 5 月,MIT 表示对数据或研究的来源、可靠性和有效性没有信心,并要求撤稿;arXiv 管理员因数据有效性问题及审查要求未完成而撤回了论文。论文报告的结果不应作为证据依赖。([MIT 声明](https://economics.mit.edu/news/assuring-accurate-research-record);[arXiv 撤稿通知](https://arxiv.org/abs/2412.17866))
Matthew Berman 首先提出“智能爆炸”的设想:一个假设中的系统改进 AI 研究,再利用产生的进展改进自身,使这一循环加速。他将这种情景与 Leopold Aschenbrenner 的文章联系起来。这是对未来可能出现的系统的预测,并非视频中研究已经证明的结果。
材料研究与 AI 工具
Berman 介绍预印本所声称的实验、AlphaFold 和材料候选生成。不能假定已撤回研究的设计和结果有效。
视频主要讨论 Aidan Toner-Rodgers 的预印本《Artificial Intelligence, Scientific Discovery, and Product Innovation》。Berman 将其描述为在一家美国大型企业研发实验室中,向 1018 名科学家随机推广材料发现工具。那是论文报告的设计;在 MIT 审查和论文撤回之后,底层数据的来源和有效性本身也受到质疑。
Berman 还提到 Sakana AI 的《The AI Scientist》,将其作为一个能够提出想法、编写代码、运行实验并准备研究报告的系统示例。其作者在三个机器学习子领域演示了这一框架,并用自动化审核员评估输出。这些结果不能证明跨学科的自主可靠科学发现,也不能证明递归自我改进。
视频将人工主导的材料研究试错与由系统提出候选、科学家进行评估的方式进行比较。模型可以预测假设化合物的性质,但预测出的配方本身并不是经过验证的材料:仍然需要实验检验和后续开发。
Berman 引用 AlphaFold 作为 AI 科学潜力的例子。2024 年诺贝尔化学奖表彰了 Demis Hassabis 和 John Jumper 在蛋白质结构预测方面的工作,以及 David Baker 在计算蛋白质设计方面的工作。Berman 暗示这些工具可以预测所有可能的蛋白质,这夸大了已证明的结果;预测有其局限,并不等于对每种结构进行实验验证。
回到存在争议的预印本,他介绍了一个用已知成分和性质训练、并提出具有期望特征的候选材料的模型。他设想更轻、更便宜或更坚固的材料有助于解决以往棘手的问题。这是一种可能的应用,并不证明现在可以制造任意材料或解决此前所有无法解决的问题。
声称的生产率与工作满意度
视频报告了关于发现、专利和满意度的数字。这些数字都来自已失去可信度的预印本,不应作为证据。

视频展示了一种工作流程:AI 提出候选方案,研究人员确定优先级并进行测试,排除误报,有前景的材料则可能进一步形成专利或产品原型。这是预印本对流程所声称的描述;由于研究已撤回,其具体报告结果不能作为经过验证的证据。
Berman 引用了预印本所声称的增长:材料发现增加 44%,专利申请增加 39%,下游产品创新增加 17%。他还报告论文声称表现最强的研究人员获益最多,57% 的创意生成工作实现了自动化。MIT 后来表示不应依赖论文结论,因此这些数字只是视频中的历史性主张,并非可靠估计。
视频还引用一项说法:82% 的科学家由于感到创造力降低、技能未能得到使用而变得不那么满意。这个数字来自同一篇已失去可信度的预印本,不能证明工作满意度的结果。Berman 借此提出一个更广泛的问题:自动化可能如何影响工作的意义?这个问题仍没有定论。
AI 研究与人类理解
Berman 讨论 AI 可能的发展阶段和 Sakana AI 的研究自动化演示,最后提出关于监督和理解的问题。
Berman 描述了一系列 AI 能力,从对话系统到推理、智能体以及辅助发明的工具。他认为多个领域的进步可能同时发生。这些标签是一种概念框架,并非已经通过实验确立、每个系统都必须经过的阶段。
他再次讨论智能爆炸假说:如果系统能够开展 AI 研究,并反复将改进应用于自身,进展可能会加速。他引用 Sakana AI 的实验性工作流,但其机器学习演示并未表明这种失控过程已经发生或不可避免。

Berman 最后提出一个尚无答案的担忧:如果人们越来越多地把编程和研究委托出去,可能会难以理解或评估结果。他没有声称已经找到答案。保持人类的理解和审查,与模型能否生成看似合理的研究产物是两个不同的问题。
同频道的其他文章
34:21EN → 简体中文
0:36EN → 简体中文
25:50EN → 简体中文
32:20EN → 简体中文
1:03:37EN → 简体中文
0:53EN → 简体中文