Yann LeCun 谈世界模型、开放 AI 与通向高级智能之路

我从 Yann LeCun 与 Lex Fridman 约三个小时的对话中选取片段，并加入自己的评论。在这段 2024 年 3 月的视频中，LeCun 当时是 Meta 的首席 AI 科学家。话题从语言模型的局限延伸到开放开发、机器人以及高级智能的未来。

LeCun 认为智能系统需要物理理解、持久记忆、推理和规划，而当时的语言模型在这些方面的能力即使存在也很薄弱。他的评估以及仅靠这种架构无法达到 AGI 的主张，是仍有争议的研究立场，并非不可能性证明。

我怀疑人类生成的文本可能不足以将系统训练到 AGI，并讨论了由其他 AI 模型生成的合成数据。这是我的假设，不能证明合成数据是 AGI 的必要或充分条件。它的质量和效果取决于生成及使用方式。

LeCun 估计，大型语言模型可能接触约 10^13 个文本 token，而儿童在数年中接收的视觉信号量要大得多。他粗略比较字节数，是为了说明感官输入的丰富性；文本 token 和神经视觉信号是不同类型的数据，因此字节总量不能直接衡量学到了多少知识。

他认为，许多学习来自观察和互动，而不仅仅来自语言，尤其是在儿童早期和动物身上。我认为这支持探索其他模态，但不能据此认定所有语言训练模型都缺乏任何形式的世界知识。

LeCun 说智能需要以环境为基础，无论是真实环境还是模拟环境。在他看来，语言是对更丰富的感知和心智模型的一种近似、低带宽的表达。他将此作为自己在认知科学和哲学持续争论中的立场。

他将考试和编程等语言方面的成就，与教机器掌握驾驶、装洗碗机等日常身体技能的难度作对比。这一对比突出了训练和具身需求的差异；文本聊天机器人与机器人并不是在相同条件下评估的。

LeCun 再次表示，他认为当时的自回归大语言模型本身无法提供所需的世界模型推理。我觉得流畅语言与理解物理情境所需的更广泛过程之间的差距很有意思，但这一总体结论仍有争议。

他解释自回归生成：模型为可能的下一个 token 分配概率，选出一个，再将其反馈以生成下一个。Token 不一定是完整单词。这描述了一种常见生成机制；现代系统也可以在模型周围使用工具、记忆和其他推理方法。

LeCun 将这一过程与他对人类思维的描述作对比：双语者可以先形成意图或数学概念，再选择表达语言。这种内省式比较支持了他的论点，但它不是对所有模型推理的直接测量。

我问语言本身是否能形成世界模型，并以 Sora 为例，谈到通过基于 transformer 的方法生成视频。令人印象深刻的视频可以展示模型学到的规律，但仅凭外观不能证明其具有准确的物理理解或通用规划能力。

我想起虚构电影《降临》，并思考语言如何塑造感知。我提出，缺少某个词可能使人无法感知某事物；这是一种哲学猜想，并非电影或这次采访所确立的结论。

Fridman 问 LeCun，法语和英语中的思维是否相同，包括幽默的情况。LeCun 说依赖具体语言的双关语有所不同，但他可以在选择措辞前想象希望读者产生的反应。他们的交流区分了信息的意图与最终措辞。

LeCun 举了空间方面的例子，例如在脑中旋转水瓶或想象木制物品。他认为人们可以在说话或行动前操作抽象表征，而自回归模型按顺序输出 token。这是他提出的对比，并非适用于每个人类思维或 AI 系统的确定理论。

我问，即便单靠语言预测不够，预测是否仍能支持世界模型。我将其与模拟想法相比：有用的模拟可能只需要与观察者或任务相关的细节。这是概念上的类比，并非我们的宇宙处于模拟中的证据。

LeCun 说，世界模型可以表征当前状态、可能的行动和预测的下一状态。它不需要模拟每个原子，而应保留与规划相关的信息。他认为预测可能是一个组成部分，同时怀疑仅预测单词能否提供足够的环境基础。

他说预测未来视频帧很困难，因为许多细节不确定。与有限的 token 词表不同，视觉输入处在高维空间中，可能存在多个合理的未来。这是研究挑战，并非声称生成有用视频是不可能的。

对于在房间内平移的摄像机，LeCun 说人们可能推断出墙壁或家具，却无法确切知道未见过的地毯纹理或画作。必须生成每个像素的模型可能将能力花在与任务无关的细节上。我请观众将这一论点与 Sora 的示例比较，但这些示例并不是对物理预测的全面测试。

LeCun 描述了过去使用潜变量、GAN 和自编码器的尝试，表示它们在他的研究中没有达到预期结果。他讨论的是特定表征学习方法和目标，并非普遍证明所有生成式视频系统都失败。

他缩小了批评范围：在他描述的比较中，从受损版本重建图像没有产生他想要的通用视觉特征。他将此与使用标签或文本描述的监督学习作比较。结果取决于方法和评估，不应推广到所有基于重建的方法。

LeCun 提出联合嵌入预测架构，即 JEPA。一个编码器将完整输入映射成表征，另一个处理被遮蔽或变换的输入，预测器则学习从后者推断前者的表征。该目标预测的是特征，而非逐像素重建完整图像。

他认为这使系统能够关注可预测且有用的信息，而不是每个视觉细节。他举自动驾驶汽车经过树木的例子：每片叶子的准确运动可能无法预测且无关紧要，即使知道树叶正在移动是有用的。

LeCun 描述了在不同抽象层级学习，而不是每次都从量子物理向上建模一个现象。他认为抽象的自监督表征是未来智能系统的一个组成部分。他说，语言通过抽象表达信息，已经去掉了许多不可预测的细节。

Meta 的 [2024 年 V-JEPA 论文](https://ai.meta.com/research/publications/revisiting-feature-prediction-for-learning-visual-representations-from-video/)研究了视频特征预测，并报告了视觉基准结果。这本身并未展示一个集成语言助手、通用世界模拟器或 AGI。我希望 JEPA 能与语言模型互补，这是面向未来系统的想法，而非已经完成的结果。

我用去商店途中起身走向汽车的例子介绍分层规划。高层目标可以分解为更小的行动。我说步骤可能“无限”，只是描述复杂性的比喻，并非字面上要求枚举无穷多个动作。

LeCun 用从纽约去巴黎的旅行举例：先到机场，再乘飞机。到机场又变成下楼、找出租车等子目标；下楼还涉及更小的动作。不同层级以不同粒度表征同一计划。

他认为，将整趟旅程逐毫秒规划成肌肉运动既不现实，也不可能预先确定，因为交通、等待时间等条件未知。分层规划允许系统先行动，并在获得新信息后重新规划。

LeCun 说，为分层规划学习适当的表征层级仍是开放研究问题。现有 AI 规划方法确实存在；他的观点是学习并整合通用分层表征很困难，而非所有规划系统都不存在。

Fridman 追问规模扩展：现有方法加上更多数据和算力，能否产生高级智能？我指出连续几代 GPT 模型和 Sora 的显著进步。随着规模增长而改进是能力提升的证据，但本身不能确定通向 AGI 的路径。

LeCun 认为流畅语言可能误导人们，让他们把人类智能的所有特征都归于一个系统。被问及图灵可能会怎么说时，他开玩笑说图灵会认为自己的测试不是好的智能测试。对话模仿测试测量的是特定行为，而非智能的所有方面。

关于幻觉，LeCun 给出简化解释：每生成一个 token，都有可能偏离合理答案的集合。他明确称错误相互独立是一个很强的假设。由此得到的数学直觉不能证明真实模型的幻觉率遵循普遍的指数规律。

Fridman 问 LeCun 为什么批评强化学习。LeCun 表示他不想放弃强化学习，但认为它的样本效率低，希望先主要通过观察学习表征和世界模型。这是他提出的分工，而非声称强化学习从来无效。

他认为世界模型可以帮助规划行动，而互动和强化学习可以纠正不准确的预测或目标。好奇心和玩耍可以让系统在执行真实任务之前探索状态空间中不确定的部分。这套方法仍是研究提议，而非经过验证的通用方案。

讨论转向偏见和开放模型。Fridman 提及 Google Gemini 相关的争议性历史图像输出和拒绝回答，询问审查与设计问题。个别例子不能确定产品决策背后的动机，也不能代表每一次输出。

LeCun 说训练数据反映社会模式，尝试调整输出可能造成不同的偏见感受或事实错误。他认为没有任何单一系统会被所有人视为无偏见。这不意味着事实准确性完全主观，也不意味着偏见无法测量和减少。

他以多元化媒体作类比：随着助手介入更多人与数字信息的交互，他不希望知识访问由少数公司控制。他设想了智能眼镜、翻译和对话式搜索。这是对未来使用方式的愿景，并非所有交互都必须由 AI 介入的证明。

LeCun 认为，当有能力的基础模型可供调整时，公民、组织、政府和企业可以构建适合各自社群的系统。他提到语言与文化多样性，也提到政治差异。实际调整模型的能力取决于许可、资源和数据。

他提到一个让 Llama 2 适应印度所用语言的项目，并举例说明出版商和公司如何根据自己的材料回答问题。他更广泛的观点是，共享基础可以支持专业应用。Llama 2 权重依据 Meta 的许可提供，其中包含限制；可获取并不等于无限制开源。

Fridman 问企业如何在分发基础模型的同时赚钱。我指出现有的开放软件商业模式。LeCun 说 Meta 可以通过广告或商业客户为服务提供资金，例如一个帮助小餐馆在 WhatsApp 上与顾客沟通的助手。

Fridman 问竞争对手是否也能基于同一个模型开发产品。LeCun 说 Meta 庞大的用户群提供了收入路径，外部开发者可以改进生态或构建有用的应用。他认为分发模型不会损害 Meta 业务，这是战略判断，并非有保证的结果。

LeCun 说产品设计必须回应客户群体的期待，而不仅是工程师的政治偏好。不同的人可能认为同一个系统朝不同方向存在偏见。他主张系统多样化，同时承认输出也可能在事实层面出错。

关于言论自由和护栏，LeCun 说系统应有一定限制，并提出未来目标驱动的架构可能将基本约束与社群特定选择结合起来。他称这些护栏可以保证安全，这是一种愿景；采访本身并未提供普遍适用的技术保证。

被问及 Llama 3 和未来版本时，LeCun 预计会出现更大及多模态模型，并最终出现具有更好世界模型和规划能力的系统。他无法给出研究何时转化为产品能力的日期，并表示还需要进一步突破。这些是 2024 年 3 月的预测。

他提到 V-JEPA、DeepMind 和加州大学伯克利分校的相关工作，包括 Danijar Hafner 关于学习表征和规划的研究。LeCun 押注未来系统会更像 JEPA，而非生成式模型。这是研究押注，并非其他方法无法取得进展的证据。

对话转向大脑与计算效率。LeCun 说当前计算机的能效仍远低于大脑，并期待硬件、架构和实现方式带来进步。生物计算和数字计算难以直接比较，因此他的时间判断是估计，而非精确的等价比较。

LeCun 拒绝认为打开某个开关就会产生 AGI。他预计视频学习、联想记忆、推理和规划会逐渐进步，但整合这些能力仍很困难。他估计至少需要十年，很可能更久；这是他 2024 年的预测，并非确定的期限。

他认为灾难情景往往假设超级智能突然出现，并称开发者会在渐进发展中学会构建防护措施。其他研究者质疑这些假设并研究多种风险路径；渐进发展和防护措施成功都没有保证。

LeCun 设想会有许多 AI 系统，包括能够对抗失控系统的防御方。他还比较群居和较少群居的动物，质疑智能必然意味着支配欲的观点。这些类比不能证明未来 AI 系统一定可控或不会产生有害激励。

我讨论 AI 风险与核风险之间的类比，并认为直接比较并不完全合适。LeCun 则预测助手会像垃圾邮件过滤器一样过滤不想要的数字接触。我认为这个想法有用，但担心助手介入我的信息获取并可能错误过滤内容。

LeCun 预计未来十年的机器人领域会很有意思，但他看到专用机器人与能够理解物理世界并在其中规划的通用机器之间存在差距。他说 Boston Dynamics 依靠精心设计的动力学和规划。特定系统的状态和能力可能在这次 2024 年讨论之后发生变化。

最后，Fridman 问是什么让他感到有希望。LeCun 设想 AI 助手能增强人们的能力，就像一个团队协助处理职业和个人任务。他认为教育、知识分享和更好的智能获取都是积极的，同时他确信这只会改善人类处境的预测仍是观点，而非已证明的结果。

我鼓励观众除了观看这些选出的片段，也去了解完整采访。视频呈现了 LeCun 的论点和我的评论；关于智能、安全和部署的预测仍需接受证据检验，也可能存在分歧。