Figure 01 与更强大机器人的发展之路

原标题Figure 01 and the Path Toward More Capable Robots

Matthew Berman 盘点人形机器人和其他机器人演示,并分享 Yann LeCun 对通用机器人仍需突破的问题的看法。

LFLex Fridman嘉宾 · Lex Fridman PodcastYLYann Lecun嘉宾 · Meta
频道
Matthew Berman
发布
2024年3月14日
视频
12:34
阅读
5 分钟
幻灯片
7
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Matthew Berman 展示了 Figure 01 将对话与桌面物体操作结合起来的演示,随后播放机器人移动、穿越狭窄空间和在工厂工作的片段。这些演示展示的是特定任务,并不能证明机器人已经实现通用人工智能。 一支车库机器人团队介绍了快速制作原型的方法;Yann LeCun 在接受 Lex Fridman 采访时解释了他为何认为,更强的世界模型对通用机器人至关重要。

  1. 1桌边的对话演示中,Figure 01 描述场景、递给人一个苹果,并处理垃圾和餐具。这个片段展示了特定任务,并不能证明机器人具备通用智能。
  2. 2不同机器人,不同任务Berman 展示了机器人移动、搬运重物、穿越狭窄空间,以及使用 Vision Pro 控制机器人的演示。
  3. 3车库里的原型一支机器人团队介绍了如何利用 3D 打印快速改进一个可以站立而不摔倒的原型。
  4. 4LeCun 谈机器人面临的差距LeCun 预计未来十年的发展将很有意思,同时认为系统需要更好的世界模型,才能理解物理世界并规划行动。
  5. 5从导航到家务LeCun 介绍了一项机器狗演示:机器人能导航到冰箱并取出识别出的物品,但他指出,收拾餐桌等通用任务仍然更难。

要点建议

  1. 在 Figure 01 的演示中,机器人描述桌面场景、递出苹果、清理垃圾并移动餐具。
  2. 其他片段展示了针对特定任务的移动、物体操作、狭窄空间通行、远程控制及工厂作业。
  3. 一支车库团队利用 3D 打印快速迭代早期机器人原型。
  4. LeCun 预计机器人技术会进步,但认为系统仍需要更好的世界模型来理解环境和规划行动。
  5. 家务任务需要机器人在多变且不确定的环境中结合导航、感知和物体操作能力。
全文

按章节阅读整理后的全文

只看原始文稿
01

Figure 01 对话并操作物体

Berman 介绍了一项使用 OpenAI 技术的 Figure AI 演示。机器人描述场景、回应请求,并移动桌上的物品。

我生病了,所以克隆了自己的声音,以免错过本周的人工智能新闻。首先是一段 Figure AI 的演示:Figure 01 使用 OpenAI 技术,一边对话,一边操作桌上的物体。这展示的是特定能力,并不能证明机器人已经实现 AGI。

Figure 01 的桌面场景
幻灯片 1 / 7Figure 01 的桌面场景演示中有苹果、餐具和一个人,供机器人描述并与之互动。

在 Figure 的片段中,一位参与者询问机器人看到了什么。Figure 01 识别出盘子上的红苹果、放有餐具的沥水架,以及旁边的人。对方要求给点吃的,机器人便递出了苹果。处理垃圾时,它解释说,苹果是桌上唯一能提供的可食用物品。

接着,参与者问餐具应该放在哪里。Figure 01 说盘子和杯子应该放进沥水架,随后将它们移了过去。事后被问到任务完成得如何时,机器人说苹果有了新主人,垃圾已经清走,餐具也放回了该放的位置。这是一个展示用的桌面演示,仅凭片段无法确定它在这种环境之外表现得有多可靠。

Figure 01 操作杯子
幻灯片 2 / 7Figure 01 操作杯子画面展示机器人在设定好的任务中操作餐具。
02

机器人演示巡览

多个片段展示了人形机器人移动、操作物体、穿越狭窄空间以及通过头显进行控制。随后,一支车库团队介绍了其早期原型。

Unitree 人形机器人演示
幻灯片 3 / 7Unitree 人形机器人演示片段展示了人形机器人与人并行移动,但不能证明它创造了速度纪录。

接下来我展示一台快速移动的 Unitree 人形机器人;我称其创造了人形机器人速度纪录,不过这段视频本身无法独立证实这一说法。随后是一台 Boston Dynamics 机器人,它精准地搬运重物。在我看来,Boston Dynamics 的身体能力仍然领先。

另一段视频展示了机器人穿越极其狭窄的空间和高低不平的碎石。我可以想象这类机器用于洞穴救援或其他狭小空间作业,不过视频只是演示,并不能证明它已经完成过救援。另一项演示展示了有人使用 Apple Vision Pro 头显控制机器人。

机器人穿越碎石
幻灯片 4 / 7机器人穿越碎石一台紧凑型机器人在低矮障碍物下移动,展示其在狭窄空间里的机动能力。
通过头显控制机器人
幻灯片 5 / 7通过头显控制机器人视频同时展示了头显佩戴者和手部追踪的可视化画面。

另一个片段走访了 Palo Alto 车库里的一家机器人初创公司。采访者问起他们诞生约两个月的机器人,一位团队成员说,他们为机器人能够站立而不摔倒感到自豪。团队正尝试用 3D 打印机快速迭代硬件:画面中的是第三版,他们说第四版的设计完成后,几天内就可以造出来。

车库制造的机器人原型
幻灯片 6 / 7车库制造的机器人原型团队讨论快速迭代硬件时,画面展示了能够站立的早期原型。

当被问到这样的机器人何时能在家打扫、洗衣或洗碗时,团队成员说,自己想拥有一台机器人正是项目的动力。目前,这台机器人是一个测试平台,用于实现包括 UMI 论文在内的近期研究;具体时间表仍待确定。我认为这反映了机器人开发成本降低的更广泛趋势。

03

电动飞行与工厂机器人

Berman 展示了一架载人电动飞机和工厂机器人片段。这些视频展示了不同应用,而非同一个通用系统。

接下来的片段不是机器人:画面展示了一架载人的全电动飞机在飞行。随后我展示与中国电动车公司 NIO 相关的画面,其中包括工厂中的机器人作业。短促的宣传片本身无法证明整个工厂的自动化程度。

工厂安全带检查演示
幻灯片 7 / 7工厂安全带检查演示片段展示机械手位于安全带旁,画面上带有质量控制标签。
04

LeCun 谈当前机器人的局限

在与 Lex Fridman 的访谈中,Yann LeCun 讨论了规划、世界模型、安全和家务任务的难度。他将特定能力的演示与真正通用的机器人区分开来。

最后,我播放 Lex Fridman 对 Yann LeCun 的一段采访。被问到是否很快会有数百万台人形机器人到处行走时,LeCun 说不会那么快,但他预计未来十年的机器人发展会很有意思。他认为,核心问题是让系统理解世界如何运作,并规划行动。

LeCun 说,针对特定任务,可以像传统机器人学那样,借助精心规划、手工设计的动力学模型,以及创新和感知技术来解决问题。但他将这些成果与制造家用机器人区分开来。他还认为,完全自主的五级自动驾驶仍然困难,尤其是如果系统必须用一个青少年可能需要的有限驾驶经验来学习。

LeCun 认为,机器人技术取得重大进展有赖于系统学会世界模型,从而理解世界如何运作。硬件开发者正在押注人工智能会取得足够进展,使有用的产品成为可能。Fridman 则提出,在非常强大的世界模型出现之前,人们或许也能为笨拙、不完美的机器人找到用途。

Fridman 提出工厂可能是一种应用场景,但 LeCun 提醒说,安全要求让工厂部署变得非常困难。他们还讨论了家庭场景:收拾餐桌、洗碗、打扫和做饭都是吸引人的目标。LeCun 强调,这些看似普通的任务其实精细而复杂。

Fridman 问起在不确定空间中导航的问题。LeCun 说,基本导航在一定程度上已经可行,但要做到令人类觉得足够出色,则是另一回事。在 Meta 的具身人工智能团队,研究人员用商业机器狗做过演示:机器人可以导航到冰箱、打开冰箱,并有可能取出识别出的罐装物品。

LeCun 将这些能力与足够成熟、能够收拾餐桌的通用机器人区分开来。Fridman 对机器人进入家庭的前景感到兴奋,因为人们可以在物理世界中与人工智能互动,并探索这种关系的心理和哲学层面。LeCun 说,他的团队研究从视频中进行自监督学习已有约十年,之前两三年取得了显著进展。

同频道的其他文章

12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
Matthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1
6 张幻灯片1:03:37EN → 简体中文
Matthew Berman· 2026年10月23日Matthew Berman 团队测试 Kimi K3.1:动画、游戏与图表Matthew Berman, Alex, Brian · Forward Future一场团队直播问答变成了对 Kimi K3.1 的非正式测试,内容涵盖个人智能体工作流、动态图形、浏览器游戏和基准图表。编程智能体Generative media评估+2
0:53EN → 简体中文
Matthew Berman· 2026年10月22日Sam Altman 谈 AI 与新知识的发现Sam Altman · OpenAIAltman 预计,数学发现方面的进展将延伸到生物学、材料和能源领域。AI for scienceMathematicsComputational Biology+1