走进 Tesla 2021 年视觉、规划与 Dojo 设计

原标题Inside Tesla’s 2021 vision, planning and Dojo designs

Tesla AI 团队解释多摄像头视频如何形成驾驶场景、训练数据如何标注,以及设计 Dojo 的原因。

EMElon Musk讲者 · TeslaAKAndrej Karpathy讲者 · Tesla
频道
Tesla
发布
2021年8月20日
视频
3:03:20
阅读
11 分钟
幻灯片
4
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Tesla 2021 年 AI Day 展示了驾驶系统如何将八路摄像头画面转成共享空间表示,再用于规划和控制。Tesla 表示 FSD(监督版)需要驾驶员保持专注并随时准备接管。团队解释时间记忆、自动标注和仿真如何帮助处理遮挡与少见场景。演讲还介绍基于 D1 芯片的 Dojo 训练设计,同时说明大规模编译器工作尚未解决,并提出人形机器人构想。

  1. 1单张图像准确不代表三维几何准确Karpathy 展示深度的小误差如何扭曲投射后的道路边界。
  2. 2时间与距离记忆保留不同信息团队保存短暂遮挡的车辆与长时间等待前看到的道路标记。
  3. 3多次行程能标注更多道路场景离线重建对齐摄像头观察结果以生成训练标签。
  4. 4Dojo 训练模块组合 25 个 D1 裸片团队介绍围绕模块集成供电、冷却与芯片连接。
  5. 5Dojo 的大规模编译器问题当时尚未解决一位工程师说网络已在原型上运行,但扩展仍需工作。

要点建议

  1. 微小的深度误差也可能让看似合理的图像预测在三维空间中失准。
  2. 按时间与距离保存的记忆保留不同的驾驶上下文。
  3. 离线标注可以结合多次行程和后续画面来重建场景。
  4. Dojo 的 2021 年设计每个训练模块使用 25 个 D1 裸片;扩展软件仍在开发。
  5. 舞台上的 Tesla Bot 是表演者,原型计划在之后推出。
全文

按章节阅读整理后的全文

只看原始文稿
01

演讲开始之前

直播先播放较长的活动前画面。

直播在活动开始前播放约 47 分钟的音乐和画面。

02

从摄像头图像到空间视图

Karpathy 解释从单帧预测转向多摄像头和时间处理。

马斯克为 2021 年 Tesla AI Day 开场,邀请从事 AI 硬件与软件的人加入公司。他说演讲将展示电动车以外的工作。

视觉团队负责人 Andrej Karpathy 解释,八个摄像头提供图像,系统将其转成车道、路缘、车辆、标志及其位置的三维表示。

他把任务比作建立人工视觉系统:团队需要设计摄像头信息如何流经神经网络。

Karpathy 回顾早期系统:它处理单张图像,支持车道保持和跟车。共享网络提取特征,不同分支分别处理物体和交通灯识别等任务。

他将这种共享架构称为 HydraNet。共用特征提取器可以减少重复计算,同时各任务分支可以分别开发和调优。

要在停车场行驶,单张图像预测并不够。Tesla 最初用手动调节的追踪器,把不同摄像头和不同时刻的路缘检测结果拼接起来。

Karpathy 说,调节追踪器很困难;图像中看似准确的预测,一旦深度估计稍有偏差,投射到三维空间后就可能出现明显错误。

一个物体也可能横跨多个摄像头视野,没有任何单个摄像头能看全。因此团队希望合并所有摄像头图像,直接预测共享的空间表示。

这既需要能将图像转换为俯视图的模型,也需要输出空间中的训练标签。Karpathy 先解释模型,稍后再讨论数据。

固定投影很困难,因为坡度和遮挡会改变图像中哪些区域提供有用信息。团队使用基于注意力的 Transformer 来合并摄像头特征。

车辆之间的摄像头安装角度略有不同,因此系统利用标定信息将图像调整到共同的虚拟摄像头视角。Karpathy 说这提高了一致性。

多摄像头道路边界
幻灯片 1 / 4多摄像头道路边界画面对比图像视角与生成的空间道路表示。

他展示多摄像头处理前后的道路边缘与车道预测对比,以及车辆跨越摄像头视野的例子。

下一个挑战是时间:车辆可能暂时被遮挡,转弯标记也可能是在路口长时间等待之前看到的。单一时刻无法提供全部背景。

Tesla 的方法按时间和行驶距离保存特征。按时间保存的记忆可帮助追踪短暂被遮挡的车辆;按距离保存的记忆可在车辆等待时保留道路标记。

Karpathy 介绍空间循环网络:车辆行驶时,它更新附近的空间表示。视线受阻时模型可以保留先前信息,视线清晰时再更新。

他展示视频上下文如何帮助系统在遮挡期间保持检测,并相较单帧预测改善距离与速度估计。

最终流程结合经过标定的摄像头图像、共享特征、空间融合、时间记忆和各任务输出。Karpathy 说该架构在 2021 年仍在演进。

03

围绕其他道路使用者规划路径

Elluswamy 介绍搜索、优化和学习式规划实验。

Ashok Elluswamy 介绍规划与控制:利用感知到的场景选择转向和加速,同时兼顾安全、舒适与效率。

他说城市驾驶有许多可能路径和互动。团队先搜索大致驾驶动作,再在选定区域内优化更平顺的路径。

规划变道
幻灯片 2 / 4规划变道可视化画面展示驾驶场景和规划器的位置、速度图。

在变道例子中,规划器比较急刹车和可能错过转弯等选择。系统搜索许多候选路径,再按安全、舒适及能否转弯进行选择。

Elluswamy 说规划也必须考虑其他道路使用者。在狭窄街道的例子中,系统考虑迎面司机是否有空间、是否可能让行。

选定可行区域后,连续优化根据与障碍物的距离、行驶时间和平顺加速度等因素调整轨迹。

对于结构较少的场景,团队探索基于学习的规划。Elluswamy 用停车问题说明,基本搜索的引导规则若没有考虑障碍物,就可能浪费大量计算。

他在一个简化例子中比较基本搜索与神经网络引导的方法。后者利用场景上下文指导探索,在该演示中减少了需要搜索的节点数。

拟议架构结合感知、学习式和显式规划,并最终生成转向与加速指令。团队随后转向训练所需的数据。

04

Tesla 如何标注驾驶数据

团队结合人工标注、离线重建和自动标签。

Karpathy 说,仅有网络架构还不够:大量参数还需要规模大、干净且多样的训练数据。

他说 Tesla 发现外部标注流程无法满足速度需求后,将标注工作转到内部。当时公司已建立一支超过千人的标注团队。

标注人员不再需要分别标注每张摄像头图像,可以在重建的三维空间中标注,再将结果投射回多个视角。

Karpathy 说,人擅长语义判断,计算机则能协助处理几何和追踪。团队结合两者建立更大的数据集。

Elluswamy 介绍自动标注:视频和车辆传感器片段在离线环境中经过神经网络与几何算法处理,生成训练标签。

对于路面,系统估计高度与语义特征,再用多个摄像头、多个时刻的观察结果核对重建。

经过同一地点的多次行程
幻灯片 3 / 4经过同一地点的多次行程幻灯片展示可对齐以进行自动标注的不同道路观察。

同一地点的多次行程可以对齐,用于标注单次行程未覆盖的区域。他说目的是标注录制片段,而不是维护永久的高精地图。

离线处理既能使用之前的画面,也能使用之后的画面。这种事后信息有助于估计运动,并在遮挡期间连接物体轨迹。

团队展示重建的道路几何和移动物体,目标是为多摄像头视频模型生成大量标注片段。

对于少见的低能见度情况,Elluswamy 说车队提供了相关片段,自动标注比单靠人工更快地产生了数千个例子。

05

仿真与部署

合成场景补充数据空缺,团队同时处理训练和车内部署的计算需求。

他用渲染的驾驶场景介绍仿真。合成场景从已知的物体位置开始,因此可以自动生成深度、运动和分割等标签。

仿真有助于处理少见事件、人工标注成本高的拥挤场景,以及其他交通参与者会对车辆动作作出反应的情况。

仿真器模拟噪声、模糊和光学畸变等摄像头效果。团队还利用渲染、多样化素材和程序生成道路,使训练场景更丰富。

Elluswamy 介绍如何在仿真中重现真实失败案例并加以变化,让团队不仅能针对原片段,还能针对相关场景测试改动。

Milan Kovac 解释标注和模型部署背后的基础设施。他说大规模离线工作使用数千个 GPU、许多 CPU 核心,以及接入仿真的车载计算机。

将网络部署到车内时,团队必须满足延迟与帧率限制。Kovac 介绍了一个编译器,用来把模型运算映射到专用车载硬件。

他说 Tesla 对软件改动运行大量评估,并使用工具比较模型在视频片段上的不同输出。

Kovac 说训练需求已超出既有 GPU 集群的能力,随后引出名为 Dojo 的定制训练计算机。

06

计划中的 Dojo 训练计算机

Venkataramanan 介绍 D1 芯片、训练模块和计划中的软件栈。

Dojo 负责人 Ganesh Venkataramanan 说,目标是在控制功耗和成本的同时快速训练更大的模型。他指出,扩展的挑战不仅是算力,还有带宽和延迟。

他介绍将计算节点与内存排列成二维网络,并用编译器尽量让相关工作彼此靠近,以减少通信。

团队围绕快速本地内存、矩阵与向量运算以及可编程处理器设计训练节点,目标是平衡计算与数据传输。

Venkataramanan 展示 D1 芯片,说 Tesla 为机器学习训练及芯片之间的高带宽通信设计了它。

一个训练模块组合了 25 个 D1 裸片。他解释,供电、冷却和高带宽连接围绕模块集成,以支持扩展。

Dojo 训练模块
幻灯片 4 / 4Dojo 训练模块演讲将该模块介绍为系统扩展的基本单元。

他说团队最近已在早期可工作的模块上运行神经网络。更大的托盘和机柜被展示为通往计划中的百亿亿次运算规模系统的路径。

Dojo 计划中的软件栈可为不同任务划分硬件,并将模型映射到节点。Venkataramanan 介绍了编译器、驱动、性能分析与调试组件。

他给出 Tesla 对 Dojo 性能与效率的目标,并说首批机柜仍在组装。

07

拟议中的 Tesla Bot

马斯克介绍人形机器人概念,并区分舞台表演者与可工作的机器。

一位穿着机器人服装的表演者出现,随后马斯克介绍拟议中的 Tesla Bot。马斯克明确说台上的形象并非可工作的机器人,并希望 2022 年推出原型。

他提出将摄像头、车载计算、电池与执行器用于人形机器,目标是处理重复或危险的工作。

马斯克推测机器人最终可能让体力工作成为选择,并说演讲时拟议机器尚不能工作。

08

关于扩展、安全与仿真的问答

团队回答有关 Dojo、驾驶系统、制造与机器人设计的问题。

在问答中,马斯克说完全开源系统会带来如何支付研发费用的问题,同时提出其他制造商未来可能获得授权。

被问到如何让 Dojo 编译器跨节点扩展时,一名工程师说问题尚未完全解决,但团队已在原型硬件运行网络,并建立了性能模型。

马斯克说,Dojo 的实际检验是软件团队是否更愿意使用它而不是现有 GPU 集群,并强调缩短训练迭代时间。

仿真负责人 Ian Glo 回答有关平台能否用于 Tesla 其他业务的问题。他说未来可以逐步纳入更多车辆系统和拟议中的机器人。

被问到语言与视觉时,马斯克说驾驶很大程度依赖视觉理解,但音频对紧急车辆和交流也可能有用。

谈到适应不同国家时,团队说使用来自许多地方的视频,但先聚焦美国道路,以免同时增加多套道路规则的复杂性。

团队讨论几何重建精度,说摄像头是主要数据来源,其他传感器有时用于基准测试。

被问到制造自动化时,马斯克说 Tesla 混合使用自动化与人工流程,并讨论大型车身铸件。

一位 Dojo 工程师介绍模块化液冷与供电。马斯克说团队借鉴了 Tesla 在车辆电力电子和冷却方面的经验。

被问到更大网络与推理成本时,团队指出 Dojo 既可训练大型离线标注模型,也可训练打算部署到车内的模型。

工程师讨论将学习式感知与规划结合显式物理模型和优化,并说端到端方法可以避免解码部分中间表示。

被问到工厂中的机器学习时,马斯克说在简单方法可行时,他通常更倾向使用简单方法,因为机器学习可能很难部署。

仿真团队介绍结合传统图形、光线追踪和实验性神经渲染,并说合成数据用于补充真实道路视频中的空缺。

马斯克说真实视频仍是主要数据集,并介绍围绕异常事件生成变体以测试和训练系统。

被问到人形机器人时,他说初始目标是处理重复、危险或无聊的任务;其他应用仍只是可能性。

团队说,数据足够时,更大模型可以提高表现,但在车内部署模型需要控制延迟;更大的离线模型则可以用于辅助标注。

谈到机器人手部时,马斯克说初始设计将尝试五根手指并使用工具,同时表示设计会继续演进。

一位提问者问如何建立公众对驾驶系统安全性的信心。团队介绍了持续改进感知的工作,并表达对未来进展的预期。

被问到规划器如何处理其他司机的不确定行为时,Elluswamy 说系统会考虑多种可能,并在情况不清楚时减速或让行。

团队说,拟议改动可以在影子模式下运行,将网络本会采取的动作与人类驾驶员的实际动作作比较。

被问到改进哪个组件最有帮助时,团队强调完善环视视频处理,以及招聘人员完成大量剩余工作。

谈到持续学习时,Karpathy 说团队通常先训练和评估稳定模型,再进行部署,而不是让每辆车在路上不断改变模型。

被问到 AI 对齐时,马斯克说能力更强的系统值得关注,并将 Tesla 的近期目标描述为用于驾驶和机器人基本任务的有用 AI。

最后一个问题涉及摄像头传感器。马斯克预计未来会有新的摄像头硬件,并表达对现有系统潜力的信心;团队随后结束活动。

同频道的其他文章

4 张幻灯片24:44EN → 简体中文
Tesla· 2026年11月6日Elon Musk 发布 Cybertruck:钢制车身、碎裂玻璃与皮卡新设计Elon Musk · Tesla在 Tesla 2019 年发布会上,Musk 介绍了这款电动皮卡,并演示车身、玻璃、悬架和货箱。电动车Product DesignEnergy
59:56EN → 简体中文
Tesla· 2026年10月21日Tesla 2026 年第三季度:现金流、FSD 需求与机器人扩产成本Elon Musk, Vaibhav Taneja, Travis Axelrod · Tesla高管讨论季度毛利率、资本支出,以及 Cybercab、Optimus 和芯片生产计划。电动车RoboticsEnergy+1
2 张幻灯片23:21EN → 简体中文
Tesla· 2026年10月16日Tesla Roadster 发布会:坡道特技、空气动力设计与 2028 年投产目标Elon Musk, Franz von Holzhausen, Lars Moravy · TeslaElon Musk、Franz von Holzhausen 和 Lars Moravy 演示与 SpaceX 工程团队合作开发的原型车。电动车Product Design
1:09:55EN → 简体中文
Tesla· 2026年7月22日特斯拉二季度:机器人与 AI 支出增加,毛利率收窄Travis Axelrod, Elon Musk, Vaibhav Taneja, Ashok Elluswamy, Lars Moravy · Tesla特斯拉报告储能部署增长、自由现金流转负,高管介绍 Robotaxi 和 Optimus 计划。特斯拉电动车Self-Driving Cars+2
幻灯片27:27EN → 简体中文
Tesla· 2026年5月21日特斯拉告别 Model S 与 X:两款车如何演进Elon Musk, Franz von Holzhausen, Lars Moravy · Tesla马斯克与团队回顾帐篷里的设计工作室、车型多年改进,以及原产线的新计划。电动车RoboticsEnergy
1:05:20EN → 简体中文
Tesla· 2026年4月22日特斯拉计划年投超 250 亿美元,为 Optimus 做准备Travis Axelrod, Elon Musk, Vaibhav Taneja, Lars Moravy · Tesla在 2026 年一季度电话会上,高管解释一次性毛利收益、电池瓶颈及机器人和驾驶软件计划。电动车Autonomous DrivingRobotics+2