30 秒看懂
Yann LeCun 与 Harry Stebbings 讨论神经网络历史、当前语言模型,以及 LeCun 对能够学习和规划的系统的设想。LeCun 主张开放 AI 基础设施和渐进测试,并预测 AI 将扩大机会;Stebbings 就就业与安全提出质疑。这些是 2023 年的观点,LeCun 在 Meta 的职位与他对公司模型和平台的说法有关。
- 1超越语言预测LeCun 认为纯文本系统缺少重要的物理知识和规划能力,并呼吁研究新架构。
- 2提出的安全架构他描述了旨在满足多个目标的系统,同时承认如何实现这些约束仍未解决。
- 3支持开放开发的理由他认为广泛参与可以改善基础模型;Meta 在模型生态中有自身利益。
- 4就业与分配LeCun 预测新增工作会抵消岗位替代,并承认分配是政治问题;这两种结果都没有保证。
- 5转型速度的分歧Stebbings 担心近期失业;LeCun 预计组织采用需要更长时间。
- 6对 AI 接管的分歧LeCun 否定快速接管情景;这是关于未来系统的争议性判断,而非已证明的安全结论。
要点建议
- LeCun 认为语言模型进步既延续了长期研究,也包含规模化带来的意外结果。
- 他认为观察、世界模型和规划是超越文本预测的重要研究方向。
- 他提出的安全目标仍是尚未解决的研究问题,而他对先进 AI 风险的评估存在争议。
- 开放开发可能扩大参与,但与专有模型竞争的结果仍不确定。
- 应区分就业、采用和 AI 界面的预测与已经确立的结果。
按章节阅读整理后的全文
研究生涯
LeCun 回顾从感知机到神经网络,以及深度学习复兴的经历。
Yann LeCun 预测,AI 将增强人们的能力,使新的创造形式成为可能。这位 Meta 首席 AI 科学家与 Harry Stebbings 讨论他的研究生涯、开放模型、安全和就业。他的预测和有争议的说法反映了他在 2023 年的观点,以及他在 Meta 的职位背景。
LeCun 在法国读工程专业时,接触到 Jean Piaget 与 Noam Chomsky 关于语言如何习得的辩论。Seymour Papert 对感知机的讨论,引导他开始研究学习机器和神经网络。
他开发了一种早期多层网络学习方法,1985 年认识 Geoffrey Hinton,后来在其指导下从事博士后研究。他介绍说,自己在那段时期开发了卷积网络,随后加入 Bell Labs;这项工作使他广为人知。
20 世纪 90 年代中期,学界对神经网络的兴趣逐渐减弱。LeCun 在 AT&T 从事了数年文档图像压缩工作,随后重返机器学习研究。他说,自己、Hinton 和 Yoshua Bengio 在 2000 年代初致力于重振神经网络研究,过程持续了多年。
语言模型与缺失的能力
他讨论令人意外的进展、世界知识和他提出的规划系统方向。
在他看来,近期进展既有连续性,也有令人意外的部分。研究人员多年间看到了持续改进,但 Transformer 自监督学习和规模化带来的能力超出了许多人的预期。ChatGPT 等公开演示让一系列渐进发展看起来像突然飞跃。
LeCun 说,大规模预测下一个词产生了意想不到的语言能力。他关注接下来的方向:在他看来,流畅的语言模型仍然缺乏充分的世界理解、规划和物理交互能力,因为大量人类和动物知识并不依赖语言。
他预计未来系统将通过观察或模拟学习并进行规划,而不只是依靠自回归语言模型。他认为,当前文本训练模型能针对某些物理或规划问题重现模式,但并不具备稳健的世界模型。这是他的研究解释和预测,并非对所有系统已有定论的评价。
安全与控制
LeCun 提出他对 AI 风险、目标和监管的争议性观点。
LeCun 说,当时的自回归模型难以引导,因为回答取决于训练和提示,没有直接机制保证事实性等约束。他预测它们将在几年内被更可控的规划系统取代;这一时间表属于推测。
他质疑“智能必然产生支配欲”的假设。在他看来,人类的支配动机来自社会进化,而非智能本身。担忧先进 AI 风险的人可能会质疑,仅靠选择目标就能安全控制系统这一推论。
LeCun 提出,未来系统可以针对事实性、适当性和硬性安全约束等多个目标规划行动。例如,家用机器人在人附近使用刀具时可以受到约束。他承认如何精确实现这些安全约束尚未解决,并建议逐步测试和修正系统。
Stebbings 问,谁应设定这些目标。LeCun 预计医疗和交通等高风险用途需要审核、测试,或许还需要监管流程。他还设想助手基础设施和知识可以通过类似维基百科的社区审核开放开发;这一治理设计仍是假设。
他预测助手将成为人们与数字世界互动的主要界面,并认为人们会希望基础设施透明,而不是由私营公司控制。这是一个预测。当时 Meta 正在开发和分发语言模型,因此公司在开放与封闭模式的讨论中有自身利益。
开放模型与行业
他主张开放基础设施,介绍 Meta 的利益,并讨论初创公司和现有大公司。
LeCun 说,FAIR 的 LLaMA 代码是开放的,但当时由于训练数据的法律问题,模型只供研究和非商业用途。他认为开放开发能够汇集任何单一机构之外的想法和贡献者。
他以 Linux 和 Apache 成为互联网基础设施为类比,说明它们尽管面临专有系统竞争仍取得了成功。他的观点是广泛参与可以改进公共基础设施;这一历史类比不能证明未来 AI 模型竞争的结果。
Stebbings 问 Meta 如何从开放中获益。LeCun 举出 React、PyTorch 和硬件设计,认为其他人能够使用技术,并不妨碍 Meta 在自家服务中使用。他说,工具的价值可以通过翻译或内容审核等应用实现。
LeCun 以 LLaMA 为例,认为有用的模型不一定总是最大的模型。预训练仍需要大量算力,但较小模型可以微调并在更容易获得的硬件上运行。他预测改进后的架构可能更高效,并未声称所有小模型都能达到前沿水平。
他称 LLaMA 使用约 1.4 万亿个训练 token,并将这种文本量与人类学习效率作比较。他认为,通过观察学习、世界模型和分层规划,可能是更高效系统所缺少的关键部分。这是他对学习方式的直觉,并非人类经验与 token 之间受控的等价比较。
谈到现有大公司和初创公司,LeCun 支持开放基础模型生态,让企业在其上构建专门应用和服务。他预测广泛参与能让模型比专有方式改进得更快,并创造就业;市场结果和就业影响都仍是预测。
为什么规模较小的 OpenAI 比 Meta 或 Google 更早发布 ChatGPT?LeCun 认为大型公司面临声誉和法律风险。他回顾 Meta 的实验性 Galactica 演示遭到批评,称团队随后撤下了演示。他认为反应过度;误导性科学文本的风险仍有争议,而他的说法来自 Meta 高管。
Stebbings 认为,现有搜索广告业务也会造成创新者困境。LeCun 相信,即使 AI 助手会蚕食现有产品,公司也必须开发它,并与 Meta 转向移动端和短视频作比较。他预计助手界面将广泛普及,但发展路径仍不确定。
就业、采用与公众担忧
LeCun 与 Stebbings 讨论就业、转型速度和人们对风险的反应。
谈到就业,LeCun 提及过去从农业和制造业向新职业转型的经历。他说,自己咨询过的经济学家并不认为社会会耗尽工作,并预测 AI 创造的岗位至少会与替代的岗位一样多。这是他的解释和预测,并非已经确立的共识或保证。
他也承认,生产力收益最初可能只惠及少数人,如何分配取决于政治和社会选择。被追问未来具体工作时,他说无法确切知道,但预计创造性工作和个人服务仍然重要。
Stebbings 担心,当前技术采用速度足够快,可能导致短期内显著失业。LeCun 回应说,学习和组织变革可能减缓普及速度,并引用经济学家关于计算机生产力影响存在延迟的观点。他估计影响可能需要十到十五年;冲击的速度和分布仍不确定。
他推测,人们关注令人意外或具有威胁性的事件,是因为这有助于学习和应对危险。他以婴儿对没有支撑的物体的反应为例,同时说明自己并非社会心理学家或社会学家。
Meta、研究政策与未来
讨论涵盖 Hinton、社交媒体、监管、研究激励和 LeCun 的愿景。
被问及 Geoffrey Hinton 离开 Google 并警告 AI 风险时,LeCun 说两人尚未讨论此事。他不同意 Hinton 对灭绝风险的重视,并说自己在 Meta 拥有比较特殊的公开发言自由。他也承认,谈及同事工作时可能存在偏见。
LeCun 认为 AI 能帮助解决社交网络问题。按他的说法,早期动态排序助长了信息茧房和标题党;Meta 后来改变系统,并利用改进的模型进行内容审核。有关修正程度和审核效果的说法属于公司方面的陈述,访谈没有独立证实。
Stebbings 提出 Elon Musk 的担忧:强大的 AI 一旦发布,就不能简单地收回。LeCun 拒绝接受快速、不可控的接管情景,认为智能本身不会产生支配欲,而且还需要资源和行动能力。这是有争议的安全判断,并非未来系统不可能构成此类风险的证明。
他反对暂停研究,并将限制与历史上对印刷机的抵制作比较。他后来区分了这一立场与对 AI 产品进行监管,尤其是用于重大决策的产品。这个类比及其政策偏好属于他个人的论证。
在快问快答中,LeCun 批评中国的研究激励机制,同时承认中国有优秀研究成果;他称赞欧洲易于获得的本科教育,但认为欧洲大部分地区的科研职业激励较弱;他也称赞瑞士的薪酬和科研资源。这些地区评价是他的观点。
他认为美国在研究资助、大学薪酬和愿意支持高风险想法方面有优势,但教育成本高昂。他也观察到欧洲初创企业活动增长,同时认为当地获得资本仍可能更困难。
他的核心信息是乐观的:AI 可能扩大人们获得知识和创造工具的机会。他承认风险,但反对灾难不可避免的说法。他支持监管涉及重大后果的 AI 产品,同时反对放慢基础研究。
LeCun 观察到,随着商业化成为可能,研究人员正在离开大型实验室创办初创公司。他认为 Meta 的 FAIR 和合并后的 Google DeepMind 与 Brain 团队有条件推进世界模型和常识研究;评价时需要考虑他在 FAIR 的职位。
展望未来,LeCun 说自己仍被理解和构建智能的目标所激励。他重视学术与工业研究的互补性,并计划在能力允许时继续贡献。Stebbings 随后结束了访谈。
同频道的其他文章
23:48EN → 简体中文
1:13:26EN → 简体中文
59:41EN → 简体中文
1:19:50EN → 简体中文
1:03:05EN → 简体中文
1:17:09EN → 简体中文