30 秒看懂
在特斯拉 2022 年 AI Day 上,工程师展示了一个能够行走的早期机器人,并介绍 Optimus 硬件和软件计划。随后,他们讲解公司的摄像头驾驶系统、数据处理流程和 Dojo 训练基础设施,最后进行了较长的现场问答。活动既包含演示,也包含未来目标;特斯拉的监督式驾驶功能仍要求驾驶员保持专注。
- 1第一个机器人在没有安全吊具的情况下登台行走公司将这个开发平台与较新的 Optimus 原型区分开来。
- 2Optimus 将电力和计算集中在躯干设计包括一个 2.3 千瓦时电池和经过调整的车载计算机。
- 3驾驶系统结合感知、规划和训练基础设施团队介绍了基于摄像头的占用网络、模拟和自动标注。
- 4Dojo 旨在训练大型神经网络工程师介绍了其计算硬件、互连和软件。
要点建议
- 特斯拉展示了一个行走中的早期机器人,以及另一个尚不能行走的 Optimus 原型。
- 机器人团队借用了车辆项目的感知工具,同时开发行走和操作控制。
- 驾驶团队介绍了占用网络、车道识别、规划和自动标注系统。
- Dojo 被介绍为训练神经网络的定制基础设施。
按章节阅读整理后的全文
Optimus 原型与愿景
马斯克和团队介绍两个机器人原型及其目标。
埃隆·马斯克为特斯拉 2022 年 AI Day 开场,介绍 Optimus 机器人、驾驶 AI 和 Dojo 训练系统方面的工作。他说活动将以较长的现场问答结束。
马斯克回忆,上一年的机器人发布由一位穿机器人服装的人参与。他说今年将展示一个开发原型,并讨论车辆 AI 如何应用于人形机器人。
团队让一个开发机器人走上舞台。演示者说,这是该机器首次在没有吊车或安全缆的情况下运行;为降低摔倒风险,现场演示保持克制。
一段视频展示了机器人处理物体等其他任务。团队介绍如何将特斯拉车辆项目的视觉网络和数据收集方法调整后用于机器人。
演示者把行走中的开发机器人称为 Bumble C,并说它部分使用现成执行器。第二个 Optimus 原型使用特斯拉设计的执行器、电池和控制系统,但当时还不能行走。
马斯克介绍拟议中的机器人手部,并强调要为制造、可靠性和规模生产而设计。他估计未来价格可能低于 2 万美元;这是 2022 年的目标,不是演示原型的零售报价。
他说仍有大量工程工作要做,并称举办活动的目的之一是招聘。他推测能力足够的机器人可能显著提高经济产出,同时强调安全的必要性。
机器人硬件与控制
工程师讨论结构、执行器、手部、行走和操作。
机器人团队比较了两个原型:第一个为软件集成提供平台,第二个则借鉴公司车辆开发经验并行设计。
演示者解释为何保留类似人体的外形,同时将初期身体设计限制为 28 个基本自由度,手部另计。目标是在不复制人体每个关节的情况下获得足够的活动能力。
工程团队讨论降低待机功耗、零件数量、四肢末端布线及质量,并将电力分配和中央计算机放在躯干内。

拟议电池组储能为 2.3 千瓦时,集成感测、保护、充电管理和电力分配。团队提出支持一个工作日的目标,但演示中并未证明实际续航。
团队说,它将车辆的全自动驾驶计算机和软件调整用于机器人,并改变外形、通信与安全设计;视觉处理和决策是预期功能。
工程师介绍用车辆工程中的结构模拟方法评估机器人摔倒。目标是限制代价高昂的内部损坏,让机器人在事故后能继续工作。
行走、举物和爬楼等任务的模拟动作,为组件设计提供载荷估计。团队还考虑振动模态,以及刚度、重量、材料和控制复杂度之间的取舍。
一个膝关节例子使用连杆来适应关节弯曲时变化的机械优势。工程师说,这能降低执行器完成多种任务所需的力。
执行器团队介绍如何把全身活动转化为各关节所需的扭矩和速度,并按能耗、质量和成本评估候选设计。
团队没有为每个关节使用独一无二的执行器,而是寻找能够同时满足多个关节需求的设计。2022 年的方案包含三种旋转式和三种直线式执行器。
演示中,一个直线执行器举起一架三角钢琴,以展示力量。团队区分了执行器直接产生的力与完整肢体的运动及机械优势。
手部团队介绍五根手指、可对握的拇指、金属腱线,以及兼顾强力抓握和精细抓取的设计。团队说每只手有六个执行器和十一个自由度。
演示者解释,一种类似离合器的机构能在不持续驱动手部电机的情况下握住物体。手部还包含控制器与传感器,以支持定位和抓握反馈。
自主系统团队说,它将车辆项目中的感知组件重新用于机器人,并以机器人专用数据重新训练。团队还介绍通过跨时间追踪摄像头特征,在没有 GPS 的室内建立地图。
工程师在车辆模拟器中加入机器人行走代码,用于开发步态。他们展示了随着更多关节和技术引入,动作如何变化。
一位机器人工程师把行走分解为身体几何和动力学模型、脚步规划、平衡以及四肢协调。规划器生成预期的全身运动轨迹。
团队说,控制器必须根据真实测量修正计划。由于实际柔顺性、振动和传感器噪声与简化模型不同,预先规划的动作可能失败。
状态估计利用传感器数据估计姿态和质心。控制器将估计状态与预期动作比较,并在出现扰动时加以修正。
在物体操作方面,工程师捕捉人类示范,并将手、肘和躯干动作映射到机器人,再根据物体的实际位置调整参考轨迹。
团队将工厂任务、室内导航和安全处理跌倒列为未来工作。一位演示者明确表示,原型距离实用部署仍很遥远。
驾驶 AI 与数据基础设施
Autopilot 团队展示规划、感知、标注、模拟和推理。
Autopilot 团队开始演讲。负责人说,2022 年 FSD 测试版已覆盖约 16 万名客户,并介绍神经网络、规划及基础设施的改进。
摄像头视频在车内处理,形成对周围世界的表示。规划系统随后利用几何、车道、物体及其预测运动来评估路径。
团队介绍占用网络:它估计三维空间中哪些位置被占据;此外还有表示车道连接及其他道路使用者运动的语义层。
在训练方面,工程师介绍自动标注、合成图像和数据闭环:发现困难场景,寻找相关车队样本,修正标签,再重新训练模型。
他们说,当时训练集群约使用 1.4 万块 GPU。编译器和推理引擎在管理延迟的同时,将工作分配到车载计算机的两个芯片上。
规划演示使用了行人和车辆同时出现的路口场景。系统考虑让行还是通过,评估的不只是避免碰撞,也包括对其他人的影响。
规划器无法在规定时间内穷尽优化其他道路使用者所有可能的行为组合。团队介绍一种交互搜索方法,在候选动作和目标之间分支。
候选轨迹结合传统优化和学习网络。搜索树扩展有希望的交互,同时逐步加入更多约束。
工程师说,以人类驾驶和离线求解结果训练的轻量网络加快了评估。其他评分网络估计驾驶员介入的可能性,以及轨迹与人类驾驶路径的相似程度。
规划器也可以考虑被遮挡区域。团队描述在摄像头看不到的区域设定假想或“幽灵”物体,并根据估计存在概率调整响应。

占用网络团队解释其三维模型:利用八个摄像头的视频,估计车辆周围各位置被占据的概率,以及物体类别和运动。
摄像头图像经过校准后,由网络结合不同时刻的视觉特征进行处理。车辆运动估计帮助对齐时间信息。
团队用一辆铰接式公交车说明,体素表示可以描述变化中的形状,而不必强行把它放进一个矩形框。
网络还预测可行驶表面的几何形状,以帮助在坡道和弯道上规划。团队讨论使用神经辐射场进行三维重建的早期实验。
训练这些网络需要大量数据和并行计算。工程师介绍多个 GPU 集群、分布式视频缓存,以及保持足够数据吞吐以利用加速器的必要性。
他们讨论如何平衡存储带宽、CPU 处理、机器学习软件和加速器互连。仅有快速芯片无法弥补数据加载瓶颈。
车道团队展示一个预测车道几何与连接关系的网络。它借鉴语言模型的思想,将输出视为点和关系构成的序列。
模型先预测大致位置,再进行细化,并赋予起点、延续或分叉等类型。分叉可以引用此前生成的点。
工程师把这种序列表示与简单分割方法比较:后者可能产生含糊的车道形状,或遗漏路口连接关系。
物体预测还包括车辆是停放还是等待信号,以及可能的近期轨迹。团队举例说明这些区别对规划器的重要性。
推理工程师介绍如何将车道网络映射到特斯拉车载加速器。团队重组运算并缓存中间结果,以适应硬件。
编译器把神经网络分成较小部分,在可用计算和内存资源上调度,并协调两个芯片的执行。目标是降低延迟并提高吞吐量。
对于车道标签,团队结合多次经过同一区域的观测结果。摄像头和运动估计将数据对齐到共同的重建场景,后续还有人工核验。
场景重建完成后,新行程可与其对齐,更快生成标签。团队说,其他任务包括部分物体和占用标签,使用自动化程度更高的流程。
模拟团队介绍如何依据标签和地图数据程序化生成道路场景。道路几何、标线、建筑、红绿灯和其他物体构成合成环境。
通过改变材质、物体位置、交通和道路布局,工程师围绕重建场景生成不同变体。合成数据可以针对难以采集或标注的样本。
数据引擎团队展示一个停放车辆识别错误:模型将停放车辆视为因交通而停止的车辆。工程师收集并重新标注相关样本,再训练和评估模型。
团队说,同样的闭环可应用于许多反复出现的困难场景,而不必为每个问题都改变架构。他们将其作为内部开发流程展示,并非证明所有边缘情况均已解决。
Dojo 硬件与软件
团队介绍定制训练系统。
Pete Bannon 和 Ganesh Venkataramanan 介绍特斯拉定制的神经网络训练平台 Dojo。他们说目标是在控制能源和成本的同时缩短大型模型的训练时间。
Bannon 介绍一项重要架构选择:使用嵌入式 SRAM 提供低延迟、高带宽访问,而非把 DRAM 作为计算的主要存储。这个选择限制了容量,并影响了系统的其他设计。
团队说,加速器依赖编译器调度和模型并行。目标是将大量计算节点组合成可扩展系统,而无需让模型开发者处理每个边界。
工程师介绍如何在数据中心范围内整合电力、冷却和系统管理。他们说,与 Autopilot 软件尽早集成帮助暴露了扩展问题。

硬件演示描绘了一个具有快速内存和高带宽连接的统一计算平面。一个训练瓦片组合 25 个芯片,可连接多个瓦片构成更大的系统。
高密度带来了电力输送、冷却和机械设计方面的实际问题。团队解释,不同材料的热膨胀速率不同,因此结构必须适应热应力。
团队介绍接口处理器、外部高带宽内存及为训练系统提供数据的主机。主机向应用程序提供熟悉的 Linux 环境。
硬件被组织成托盘、机柜和计划中的更大安装系统。团队的性能数字是设计规格和内部基准,并非独立比较。
软件团队说,其软件栈从 PyTorch 扩展和编译器开始。团队认为,让加速器保持忙碌既需要高效执行,也需要能够提供足够输入的数据管线。
工程师比较了容易扩展的模型与中间状态较大、需要同步的模型:后者可能在加速器之间产生通信瓶颈。
拟议中的 Dojo 抽象把足够大的分区呈现为一个加速器,由编译器负责分配计算、管理内存并让数据传输与有效计算重叠。
团队展示在 Dojo 上运行 Stable Diffusion 模型和跨芯片同步操作,并报告内部计时比较,强调通信效率的重要性。
对于选定的内部工作负载,团队报告与 GPU 系统的实测及预测吞吐量比较。部分数字依赖计划中的生产硬件或编译器优化,因此不能视为独立结果。
工程师介绍了一个数据加载瓶颈:最初大量加速器时间处于空闲。通过将加载分布到更多主机并使用网络连接后,他们报告利用率大幅提高。
团队介绍首个 Dojo 装置及随后扩大规模的计划。部署日期和性能目标是公司在 2022 年提出的预测。
现场问答
特斯拉工程师与马斯克回答有关机器人、驾驶和 AI 的问题。
马斯克请工程团队回到台上回答观众问题。他说活动旨在展示特斯拉机器人、AI 和计算工作的广度,并吸引工程师加入。
一位观众问机器人手为何使用腱线和弹簧。工程师说,金属缆线可以减少零件和间隙,弹簧则让手指被动伸展。
马斯克说,特斯拉打算在自家工厂测试简单机器人任务,并预计设计会迭代多个版本。他区分了实用原型与最终大规模生产。
被问到机器人个性和人类介入时,团队讨论远程操作、停止不安全动作以及从介入数据中学习。这些是拟议中的安全和训练方法。
马斯克说,对话能力是未来目标,并讨论一种无法远程修改的本地停止机制。演示没有证明完整安全系统已经得到验证。
被问到 Dojo 会出售还是作为服务提供时,马斯克认为远程访问可能比出售耗电和冷却需求较高的大型设备更合适。他将此作为一种可能方向提出。
谈到创造力,马斯克推测 AI 可能生成艺术、电影和实体表演。一位工程师讨论未来机器人根据文本或语音指令执行动作。
驾驶团队再次解释车道建模:基于序列的预测相比简单密集分割,可以更连贯地表示路口及多种可能的车道几何。
一位观众问神经网络如何测试。团队介绍了整理过的历史失败样本、影子模式评估,以及部署前分阶段的质量保证流程。
谈到更大的基础模型时,工程师介绍使用昂贵的离线模型生成标签,再训练较小的车载网络。他们说,更多数据和预训练对某些任务有帮助。
被问到通用人工智能安全时,马斯克说他支持政府监管,并会在特斯拉作出重大贡献时投资安全。他关于未来数据规模和通用人工智能的说法仍属预测。
关于特斯拉 Semi 的问题促使马斯克提出,基于摄像头的系统原则上可以适用于不同车辆。这是工程预期,并非已证明的安全结果。
被问到北美以外的 FSD 可用性时,马斯克预测到 2022 年底技术上可更广泛推出,同时指出监管限制。团队讨论统一城市和高速公路软件栈,并在恶劣天气中测试。
马斯克说,他会建议年轻时的自己多与有能力的人相处,也多享受当下。他回忆早年研发火箭时,没有抽时间享受附近的海滩。
被问到什么能加快人形机器人进展时,马斯克提到 AI、执行器、传感器和控制方面的进步。他预测进展会加快,但没有给出经验证的时间表。
谈到工厂使用时,马斯克说团队会从简单的零部件搬运任务开始。他估计从 2022 年算起三到五年可以向客户交付;这是预测,并非确认的时间安排。
一位观众问是否会开源机器人工具。马斯克强调被滥用的风险,并表示希望限制有害指令,但没有承诺将系统开源。
工程师说,控制带宽取决于任务和动作要求。马斯克讨论随时间提高灵巧度并降低延迟。
马斯克介绍自己对特斯拉工程文化的看法,认为应给有才华的工程师有挑战的问题和创造有用成果的空间。
团队回答关于驾驶系统剩余挑战及如何从车队数据中找到类似失败的问题。工程师提到根据预测不一致,以及驾驶员动作与影子模型不同来触发数据采集。
被要求定义通用人工智能时,马斯克说特斯拉并未直接以其为目标,但推测它可能从处理大量现实世界数据的系统中涌现。活动没有证明仅凭数据规模就会产生这一结果。
团队指出,神经网络逐渐承担驾驶系统中更多工作。工程师把端到端学习作为可能方向讨论,同时表示系统当时尚未达到这一阶段。
一位观众问公司如何设定安全门槛,以及是否需要更多外部监督。马斯克介绍特斯拉的安全优先原则,并主张在系统能减少伤害时部署;这段交流没有独立证实其相对安全性。
最后一个问题问人形机器人为何需要对称,以及未来版本能否具备不同寻常的能力。马斯克说近期目标是做出有用的基本机器人,之后可能出现配件和不同版本。
马斯克感谢团队和观众并结束活动,邀请观看者按兴趣回看详细技术演讲。
同频道的其他文章
24:44EN → 简体中文
59:56EN → 简体中文
23:21EN → 简体中文
1:09:55EN → 简体中文
27:27EN → 简体中文
1:05:20EN → 简体中文