30 秒看懂
在 2025 年 Sana AI Summit 上，Google DeepMind 的 David Pfau 与 OpenAI 安全研究者 Boaz Barak 和 Joel Hellermark 讨论 AI 驱动的科学及能力更强的系统面临的不确定性。他们分享了关于安全、广泛开放和未来社会选择的个人观点。
- 1AI 用于聚变控制Pfau 描述了用快速信号和基于模拟训练的策略控制高温等离子体。
- 2查找文献与提出新想法Pfau 认为现有系统有助于发现文献，但在提出真正出人意料的研究方向上说服力不足。
- 3理解与对齐Barak 认为，让系统安全遵循规则未必需要完全理解其内部机制。
- 4广泛分享收益两位嘉宾以个人身份支持广泛分享 AI 的收益和控制权。
- 5不同于人类Pfau 怀疑 AI 必须在所有维度超越人类；Barak 强调部署阻力与最终影响。
要点建议
- 精确模拟和数据可以让 AI 帮助解决复杂科学控制问题。
- 现有系统有助于查找文献，但 Pfau 尚未看到它提出出人意料的科研突破。
- Barak 预计持续进步最终可能带来出色的 AI 科研合作者。
- Barak 认为，实现对齐未必需要完全理解模型内部机制。
- 两位嘉宾都支持广泛分享收益与控制权，同时承认未来存在不确定性。
按章节阅读整理后的全文
谁控制 AI？
讨论从伦理、公众控制与权力集中问题开始。
Joel Hellermark 在 2025 年 Sana AI Summit 介绍 David Pfau 和 Boaz Barak，并以关于控制、伦理和 AI 的快问快答开场。
被问到应该让 Tom Cruise 还是 ChatGPT 管理世界时，Pfau 选择人，认为重要的社会决策应掌握在人手中。Barak 开玩笑选择 ChatGPT。
在谁应定义 AI 系统的道德问题上，面对假设中的二选一，Barak 更倾向伦理学家而非随机抽样的人。Pfau 则主张明确规则，并在需要时作出类似合理普通人的判断。
两位嘉宾都反对让一个人或一家公司集中控制 AGI。Pfau 希望广泛开放，Barak 欢迎竞争，并希望用户能够将 AI 当作自己控制的工具。
加速科学
Pfau 讨论聚变控制、模拟及目前生成新研究想法的限制。
Hellermark 问 AI 如何加速核聚变研究。Pfau 解释，聚变装置必须每秒发出数千次控制信号，以稳定极高温的等离子体，远超人类直接反应能力。
算法可以通过数百万次模拟探索复杂的控制策略。Pfau 认为，最有希望的科学应用出现在拥有高质量数据或精确模拟器的地方，系统在那里可能形成超出人类直接操作能力的技术。
困难的边界在于从模拟走向复杂的现实物理世界。他说，弥合这一差距与模型内的表现同样重要。
被问到 AI 是否能综合全部科学知识形成新洞见时，Pfau 说现有工具能帮助他找到忽略的文献和关键词。按他的经验，系统提出的研究方向往往只是表面的组合，还未带来真正出人意料的想法。
研究与自我改进
Barak 和 Pfau 对 AI 研究者及自我改进的不确定性提出不同看法。
Barak 认为，没有理由断言现有方法持续改进后不能产生有用的新知识。他预计系统可能先成为出色的研究助理，再成为合作者，之后成为独立研究者；这是他的预测，并非已确定的结果。
谈到自我改进的 AI，Pfau 认为结果仍是开放的经验问题。他将这个领域比作完整热力学理论出现之前的蒸汽机发展：实验能显示进展，却未必能揭示最终极限。
Pfau 不喜欢把模型简单类比为学生，因为 AI 在某些方面可能异常强大，在另一些方面却很脆弱。自主科研的输出仍可能需要大量核查，耗时甚至与亲自研究相当。
安全与社会选择
Barak 讨论对齐、控制和可能的社会用途。
Hellermark 问，要保证 AI 安全是否必须完全理解它。Barak 认为未必，并以人类类比：人脑尚未被完全理解，但人仍能遵守规则并参与社会。
Barak 不认为能力越强必然越难控制。他希望改进对齐技术，使更强的模型更诚实、更能遵循指令，同时强调实现这一点仍需大量工作。
他认为未来五到十年充满技术和社会选择：系统既可支持医疗和能源，也可能被用于替代工作或监控。Hellermark 和嘉宾表示更希望看到有益用途。
地缘政治与未来能力
嘉宾支持广泛分享收益，并思考 AI 可能如何不同于人类。
Barak 强调自己是在表达个人观点，而非代表 OpenAI 的政策。他希望 AI 的收益惠及包括中国和俄罗斯在内的所有地区，强调繁荣、教育和医疗，而非排他性的国家竞争。
Pfau 也以个人身份发言，对比把 AI 视为秘密地缘政治超级武器与视为变革性信息技术两种方式。他倾向广泛分配和控制，而非集中掌握。
谈到与主流不同的观点，Pfau 怀疑机器是否必然会在人的每一个维度上都超越人类。就像飞机并非在各方面都比鸟更好，成熟 AI 可能成为不同的事物，并强化自己擅长的能力。
Barak 认为，短期乐观者可能低估了新技术广泛部署的阻力，而一些长期怀疑者可能低估 AI 最终带来的变革。Hellermark 以一个关于公司股票的玩笑结束讨论。
同频道的其他文章
1:16EN → 简体中文
Sana· 2026年10月14日播客Volkswagen Group Middle East 如何用 Sana 帮助技师做好培训准备Thierry Rochat 介绍，团队如何利用技术文档制作在线课程，帮助技师为培训学院的实操课程做好准备。
0:41EN → 简体中文Sana· 2026年9月8日播客Sana Learn 客户谈如何整合培训资源一段客户访谈剪辑对比了分散的学习资源与把公司知识汇集到一处的做法。
0:40EN → 简体中文Sana· 2026年8月31日播客Sana Learn 客户谈合作体验在一段简短的访谈剪辑中，客户谈到了产品实施过程以及与 Sana 持续合作的关系。
48:34EN → 简体中文Sana· 2026年8月12日播客 · 2 人对谈Tyler Cowen 谈 AI 应用、人的主动性与对美的追求嘉宾 Tyler Cowen · 主持 Joel Hellermark这位经济学家解释了为何 AI 的经济影响可能缓慢显现、人仍能贡献什么，以及他为何呼吁建立新的美学。
0:16EN → 简体中文Sana· 2026年7月21日播客Tyler Cowen：AI 世界中的人的存在Tyler Cowen 预测，随着 AI 发展，魅力、现场存在和人与人的互动会更加重要。
0:23EN → 简体中文Sana· 2026年7月9日播客Ethan Mollick：衡量 AI 的影响Ethan Mollick 认为企业应为新机会留出空间，而不只依赖旧指标。