30 秒看懂
Google DeepMind 的 Koray Kavukcuoglu 认为,模型即使能解决困难的基准测试题,却订不了餐厅,通用能力仍有缺口。他说,真实产品能揭示人们的需求和单一 AGI 测试无法捕捉的弱点。Gemini 已在帮助构建下一代 Gemini,但完整自主的研究和训练循环仍然遥远。他还介绍了通过监测智能体行为和内部推理来发现其偏离用户目标的方法。
- 1真实产品能暴露单一 AGI 测试发现不了的缺口Kavukcuoglu 认为,在日常工作中的信任和实用性,比跨过某个基准门槛更能体现通用能力。
- 2Gemini 是不断演进的研究漏斗,而非固定架构团队同时研发多个互相重叠的版本,将新研究融入每代模型。
- 3逼真的图像还不是工程模拟他说,模型处理流体动力学和热传递仍不够可靠,但他预计更好的训练会有所帮助。
- 4Gemini 协助研究,但完整自我改进循环仍然遥远模型可以承担部分实验和训练工作;他说实验室还没有能自主创造下一代模型的按钮。
- 5递归改进可能加速,也可能遇到极限Fry 质疑自我加速飞轮的假设;Kavukcuoglu 说,加速和收益递减都有可能。
- 6监测智能体需要结合行动、影响和内部推理他描述了保留内部推理、观察智能体行动,以及用人能读懂的通信检查多个智能体的方式。
- 7基准测试揭示缺口,却不能判定 AGI 是否到来他说,真实用户反馈还能显示模型是否善于同工程师和科学家协作。
要点建议
- Kavukcuoglu 认为,应根据人们能否在实际任务中信任模型来判断进步,而不是依据单一 AGI 门槛。
- 利用产品反馈和领域专家发现基准测试遗漏的缺口。
- 模型已协助部分研究实验,但 Kavukcuoglu 说完整的自我改进循环尚未实现。
- 设计智能体及其通信方式时,应让人能够监测行动与偏差。
- 模型自主探索可以发现新策略,而人类数据对构建有用工具仍然重要。
按章节阅读整理后的全文
从各自独立的研究团队转向通用模型
Kavukcuoglu 描述了从狭窄项目转向跨领域实用模型的变化。产品、研究和科学工作共同指导优先级。
Hannah Fry 再次采访 Koray Kavukcuoglu,回忆起 2019 年参访时,独立团队分别研究 AlphaGo、AlphaStar 和 AlphaFold。如今他负责 Gemini 的开发,致力于让通用 AI 服务更多人。
Kavukcuoglu 说,DeepMind 已从共用一层楼的团队发展为规模大得多的机构。变化不仅在于规模:研究者如今看到了单一通用模型在多个领域取得成果的可能,从而将此前分散的工作结合起来。
Fry 回忆起他们控制聚变实验的工作。Kavukcuoglu 说,这类科学项目依然重要,但目标有所转变:团队希望训练出能在某个科学领域工作并解决多个问题的模型,而不是孤立地解决一道问题。
他说,三个方面共同指导工作:研究者对 AI 应在哪些领域表现出色的判断;显示消费者和企业需求的产品经验;以及模型帮助不同科学领域研究者的机会。产品会暴露封闭实验室中难以发现的实际需求。
为什么产品是通往 AGI 的一部分
他把现实中的实用性和信任视为通用能力的信号。普通任务可以暴露理论测试遗漏的缺口。
Fry 问 Kavukcuoglu 为什么说产品是通往通用人工智能的路径。他说,永远不会有一项决定性的 AGI 测试:当人们觉得系统有用、信任它的决策,并能在现实问题中与它协作时,系统才开始显得通用。
AGI 是目标,却没有告诉团队下一步做什么。产品提供中间问题:聊天机器人在人们开始提问并用于生活和工作后变得更有用。这些应用揭示了从编程到其他知识工作中,更强模型能够发挥作用的领域。
Fry 问 AGI 是否会直接以应用的形式出现。Kavukcuoglu 认为进展更可能是渐进的。研究者多次达到曾被认为具有决定性的基准,却发现它们没有捕捉智能;他更愿意观察系统是否随时间变得更有用、更值得信任。
他说,目前模型的能力仍不均衡,尽管差距正在缩小。Fry 指出,预订航班或餐厅需要安全保障和与其他服务协调。Kavukcuoglu 说,这些日常困难也是通用能力的一部分:能解决抽象难题的助手,也应处理普通需求。
Fry 认为,将 Gemini 接入数十亿人使用的产品,听起来比构建狭窄系统更困难。Kavukcuoglu 同意概念上有难度,但他说,对单一任务进行深度优化已经是人们熟悉的工作;更有意思的挑战是把模型学到的知识迁移到其他任务。
当外部用户发现团队没有明确优化过的任务时,他感到兴奋。他提醒说,向真正陌生情境迁移的能力仍处于早期,但 Gemini 的目标是追求更广泛的智能,而不只是累积狭窄能力。
互相重叠的模型世代与变化的架构
研究想法进入连续推出的 Gemini 版本。他预计架构会改变,而不是保持不变。
Fry 问,对 Gemini 的巨额投入是否会让公司错过其他突破。Kavukcuoglu 说,Gemini 并不是一种固定架构:团队持续探索其他方案,他预计五年后使用的架构会与今天不同。
他把研究过程比作漏斗,新想法不断进入后续模型。每一代发布的模型都是专门组合而成的项目,团队同时研发当前、下一代和再下一代版本。一款模型的研究过程可能延续一年,即使这期间会发布多个版本。
他说,公开模型和内部模型之间的差距取决于发布处于研发流程的哪个阶段:发布之后,两者可能更接近,但未来几个月的工作又会改变局面。谈到实验室是否已经实现 AGI,他相信目前的工作处于这条路径上,却没有给出明确门槛。
理解世界与智能的成本
模型可以创造看似合理的新组合,但仍难以准确处理物理动态。Kavukcuoglu 认为能效还有提升空间。
Fry 回到他早年关于学习表征的工作,询问当前模型是否理解概念。Kavukcuoglu 说,研究者通过假设情境探测生成式模型;合理预测可能表明模型形成了有用的表征,但这种表征受到输入数据的限制。
他说,如今模型即使没有见过粉色大象,也能想象出它,但视觉上合理不等于掌握物理动态。他认为模型在流体、气流、热传递和碰撞方面仍有未解决的弱点,希望输出的数值精度足以用于工程。
Kavukcuoglu 相信,合适的数据、训练和环境最终能让模型完成这类数值工作。他认为工程很重要,因为工程将对物理世界的理解转化为人们可用的系统。
Fry 问,训练前沿模型所需的能源是否表明它与人脑存在根本差距。Kavukcuoglu 同意生物系统展示了高得多的能效,并认为 AI 硬件和软件都有很大的改进空间。
他不认为目标必须是复制大脑的生物机制。数字系统在有些任务上更高效,在另一些任务上效率较低;他认为,与人类能力互补比让两者完全相同更重要。
Fry 提到 Yann LeCun 对语言模型路线的批评。Kavukcuoglu 说,他们都希望为世界建立模型,但对架构的看法不同。他认为当前模型有效,同时预计研究会替换或改变今天的选择,而不是十年不变。
为什么探索仍需要人类数据
模型可以通过自主探索发现策略。他说,旨在服务人类的工具仍离不开人类数据。
谈到“苦涩的教训”以及 AI 是否应超越人类数据,他的回答是既是又不是。模型需要自行探索和生成信息:在围棋等边界明确的游戏中,它们可以发现人类棋局中没有出现过的策略。
他认为,这种探索不意味着放弃人类数据。如果目标是让人们能够在世界中信任并使用的工具,模型就必须继续以人类工作和协作的方式为基础。
目前能实现多少自我改进
智能体可以承担部分研究工作,但设计和训练后继模型的完整循环仍然遥远。进展是否会无限加速尚不确定。
Fry 请他定义递归自我改进。Kavukcuoglu 描述了一种系统:它能自行探索数据和架构、设计并评估实验、训练模型,再选择更好的下一代模型。
他说,实验室距离这一完整循环仍有一段路。模型已经可以承担研究过程中的部分工作,包括检验假设和运行训练实验,他预计这些部分会逐渐扩大。
他说,按一个按钮就得到接下来几代 Gemini 的常见想象具有误导性。系统首先需要理解目标、数据、研究方法和实验;前沿实验室正在投入这方面工作,但他的团队还没有端到端的自我改进循环。
他说,Gemini 已是构建下一代 Gemini 的重要工具,智能体也已控制一部分用于实验的算力。即使更完整的流程成为可能,定义人们究竟希望更好的模型做什么仍然很难,无法简化为单一基准。
Fry 质疑,改进是否一定会形成自我加速的飞轮,而不是遇到收益递减。Kavukcuoglu 说,两种结果都有可能,目前不确定;研究的目的就是在答案已知之前探索各种可能。
她问智能体能否实现从循环网络到 Transformer 这样的概念飞跃,而不只是改良已有想法。他相信最终可能做到,但说自己还没有看到当前系统具备这种能力的证据。
他承认,除非证据说服自己改变,否则他的预期偏向肯定答案。他说,选择研究方向涉及主观判断和动力,但对研究结果的衡量必须客观。
智能体能力扩展时如何监测
他呼吁建立不奖励走捷径的训练环境,以及推理和行动可供检查的系统。大规模部署带来更多反馈,也让对齐更复杂。
Fry 转向安全问题,提到强化学习系统容易寻找绕过预期约束的捷径。Kavukcuoglu 说,训练环境应避免奖励作弊,研究者还必须观察模型学习时是否出现此类行为。
他说,当智能体在现实世界行动时,同样需要持续监测,以便它偏离用户意图时人们可以干预。因此,设计行为可观察的系统是安全要求之一。
他说,Google 不直接用奖励改变模型内部的思维链,使其仍可用于监测。他认为行动首先会在其中显现;团队也会观察行动及其副作用,检测是否偏离用户目标。
Fry 问多个智能体协调时监测会如何变化。Kavukcuoglu 说,这会更复杂,但他认为,保留可观察的通信和自然语言推理,可以让人们检查智能体之间的互动。
他说,部署规模和性质改变了安全问题。早期系统在游戏内行动;具备编程和工具能力的智能体则能影响受限环境之外的数字世界。他把安全和开发视为并行的工程任务,并举出隔离和沙箱作为可能的保障。
Fry 问,服务大量人群会让对齐更容易还是更困难。Kavukcuoglu 说两者都有:多样反馈有助于发现需求,但通用模型必须实时应对许多不同的用户目标,而不只是优化一个预定任务。
安全决策与竞争压力
他说,不安全的步骤不应实施,并介绍发布前由专家和政府开展的测试。Fry 询问竞争如何影响这些决策。
谈到放慢 AI 研究的提议,他说实验室不应采取无法安全实施的步骤,即便这意味着比预期更慢。他不赞成依据未明确的标准停止,并说开发者必须说明风险、测试缓解措施。
他说,外部专家会获得模型,以研究其能力、安全性和特定领域的影响;发布流程也比下游影响有限时增加了更多步骤。Fry 问,竞争是否会让独立的安全判断更困难。
Kavukcuoglu 说,他听到了这种担忧,并认为实验室没有充分解释缓解措施和预见的风险。他说,自己的决策不应被竞争左右,并介绍了前沿模型发布前与政府共同进行的安全测试。
基准测试、实际工作与未来七年
基准可以揭示有价值的弱点,却无法决定 AGI 是否已经到来。Kavukcuoglu 预计实用模型会变得寻常,但对精确预测保持谨慎。
Fry 问,如果基准测试饱和或包含训练数据,人们怎样判断谁领先。Kavukcuoglu 说,评估可以暴露领域弱点或有意思的任务,但不应被视为单一的 AGI 测试;几个百分点的差距与明显失败是不同的问题。
他说,当基准指出有用的弱点时,团队可能建立环境、收集数据并针对它训练。按照他的解释,这会促使基准逐渐饱和,也推动人们寻找新测试;选择有意义的任务比维持固定分数更重要。
用户反馈提供了难以用基准表达的信息。他指出,编程竞赛表现好,不等于能与软件工程师合作处理日常代码;同样,帮助数学家或化学家需要理解这些专家的工作方式。
Fry 问七年后谁可能带她参观。Kavukcuoglu 希望机器人能够帮助处理实际工作,也希望不断壮大的团队里有更多人的研究值得讨论,同时承认七年后的情况很难预测。
他预计,通过日常设备使用能力很强的智能系统会变得寻常,并希望专业人士能更快推进问题的解决。Fry 最后回应他的观点:人们的需求能够同时为实用性和对齐提供指引。
同频道的其他文章
39:47EN → 简体中文
38:10EN → 简体中文
44:25EN → 简体中文
44:41EN → 简体中文
10:52PT → 简体中文
53:05EN → 简体中文