Tesla AI 团队解释 Dojo、仿真和机器人计划

原标题Tesla’s AI team explains Dojo, simulation and its robot plans

在 2021 年问答中,工程师介绍尚未解决的扩展难题、模拟驾驶场景以及车端模型的限制。

EMElon Musk讲者 · Tesla
频道
CNET Highlights
发布
2021年8月20日
视频
50:30
阅读
7 分钟
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

在 2021 年 Tesla AI Day 上,工程师表示 Dojo 的多节点扩展问题尚未解决,同时介绍了原型测试和针对 Tesla 工作负载的设想。他们解释如何用仿真为真实驾驶数据补充罕见情境,以及如何用大型离线模型为较小的车端网络标注数据。马斯克还介绍了人形机器人计划,并对无人驾驶安全性作出乐观预测;Tesla 已启用的 Full Self-Driving 功能仍需驾驶员主动监督。

  1. 1Dojo 的扩展问题当时尚未解决工程师介绍原型测试,以及让计算靠近内存的挑战。
  2. 2大型训练模型不必在车内运行工程师解释离线模型如何为受延迟限制的较小车端网络生成标注。
  3. 3仿真弥补罕见驾驶场景的数据缺口团队介绍如何生成异常事件的变体,并使用真实视频评估。
  4. 4关于安全取舍的问题没有得到详细策略马斯克认为计算能力可能减少冲突,但没有说明不可避免取舍时的具体政策。
  5. 5马斯克的无人驾驶未来是预测Tesla 目前已启用的 Full Self-Driving 功能需要驾驶员主动监督,不能使车辆成为自动驾驶车辆。

要点建议

  1. Dojo 工程师说多节点扩展尚未解决,并强调内存局部性、模型并行和数据并行。
  2. 团队将仿真描述为真实视频的有针对性补充,尤其用于罕见危险情境。
  3. 即使大型离线模型因延迟不适合车端部署,也可以用来帮助标注数据。
  4. Tesla Bot 当时是用于重复或危险任务的未来通用机器人设想,并非已展示的产品。
  5. 马斯克 2021 年关于无人驾驶安全性的说法是预测;Tesla 表示已启用的 Full Self-Driving 功能需要驾驶员主动监督。
全文

按章节阅读整理后的全文

只看原始文稿
01

Dojo 扩展与仿真

团队讨论开源、训练硬件、散热和仿真设想。

在 2021 年 8 月的 Tesla AI Day 上,马斯克和工程师回答观众关于训练硬件、驾驶软件、仿真以及拟议 Tesla Bot 的问题。

被问及开源时,马斯克说构建系统成本高,质疑完全开源如何获得资金。他说其他车企未来可以考虑授权使用。

一名研究者问 Dojo 编译器能否扩展到大量节点。工程师说问题尚未解决,但团队已在原型硬件上运行网络并建立性能模型。

工程师介绍将计算保持在本地内存附近、结合模型与数据并行,以及让参数适配现有 SRAM。他认为 Tesla 目标工作负载有实现路径,但扩展能力尚未完成验证。

马斯克预测 Dojo 次年可以运行,初期任务是视频训练。他提出的实际检验标准是工程师是否愿意用它替代现有 GPU 集群。

他解释,将训练时间从几天缩短到几小时可能增加迭代次数、加快改进。这是预期收益,而非问答环节展示的实测结果。

一位仿真工程师说团队已模拟车辆动力学,希望整合更多车辆部件;他设想更通用的仿真平台,并最终支持人形机器人。

被问到语言与视觉结合时,马斯克强调驾驶中的视觉网络,同时承认声音也很重要,例如识别应急车辆或与乘客交流。

观众问以美国为主要训练场景的系统如何迁移到其他国家。马斯克说 Tesla 使用多个国家的视频,但开发先聚焦美国,再向其他地区扩展。

一位工程师说道路、路缘等视觉特征在不同国家较为通用;马斯克强调即使系统无法识别物体类别,也应避免撞上意外障碍。

被问到多视角几何精度时,团队举例称误差约为数厘米,并说精度随距离变化。这是讨论中的团队估计,不是普遍保证。

马斯克说工厂不同生产环节的自动化程度不一,有些任务仍主要由人工完成。他提及大型车身铸件可简化制造。

他说 Tesla Bot 并非出于某一个工厂需求,而是团队认为已有条件尝试通用人形机器人。拟议的初期用途是重复、危险或枯燥的工作。

观众问 Dojo 的供电和散热,一位工程师介绍双面液冷的模块化计算单元。马斯克说团队借鉴了车辆的电力电子和冷却经验。

02

训练、规划与合成场景

工程师解释离线模型、端到端计划和对罕见情境的定向仿真。

被问到更大的训练模型能否装进汽车时,团队区分了训练、自动标注与车端推理。某些大模型可以改善标注,而不必部署到车辆。

马斯克将 Dojo 描述为专门用于神经网络训练的系统,并说它必须与 GPU 集群比较。他关于专用设计能提高性能的说法属于设计预期。

工程师讨论将感知、规划和控制连接成端到端系统。他们预计循序渐进地构建,将学习得到的组件与结构化搜索或物理模型结合。

马斯克说车辆可用神经网络进行视觉感知、用传统软件规划,但他预计学习式控制最终可能更好。他预测安全性将超过人类,但此处没有提供对比研究。

被问到 Tesla 是否在制造各环节使用机器学习时,马斯克提醒机器学习很难,建议简单方法足够时优先使用简单方法。

仿真工程师介绍传统实时渲染、光线追踪和神经渲染实验。目标是让模拟场景有用,同时避免模型只学会模拟器特有的痕迹。

马斯克说,仿真可以生成即将碰撞、车辆逆行等罕见危险情境的变体,而不需要为每个例子制造真实事故。

团队说模拟片段只是对真实数据的有针对性的补充,评估使用真实视频。工程师讨论如何监控模拟场景和真实场景之间的差距。

03

机器人用途与驾驶系统设计

问题涉及人形机器人、模型规模、信任和安全取舍。

被问到陪伴用途时,马斯克说 Tesla Bot 的近期目标是实用体力工作,其他用途可能以后出现。这是对未来机器人的设想,并非已展示的能力。

一位工程师说,在数据充足时更大的模型通常有帮助,但车端延迟限制了部署规模。较大的离线模型可以生成更好的自动标注,供较小的车端网络使用。

团队介绍系统对部分遮挡道路和道路使用者的预测。这些例子展示预期行为;可靠预测被遮挡物体仍是关乎安全的难题。

被问及手部设计时,马斯克说初期人形机器人概念采用五指,以便使用工具和搬运物品,但设计可能演变。

提问者说,物体分类在驾驶显示中闪烁会削弱信任。团队说多摄像头模型正在改善,同时承认工作尚未完成。

被问到机器人承担低薪重复工作的经济性时,马斯克没有给出短期成本或商业模式的详细说明。

观众问汽车应如何权衡乘员与行人的安全。马斯克认为快速计算可减少此类冲突,但没有说明无法避免取舍时的详细策略。

04

不确定性、测试与未来预测

团队讨论硬件、对抗性输入、影子模式和 AI 风险;马斯克作出自动驾驶预测。

马斯克预测当时的 Hardware 3 最终将比人类驾驶安全得多,并提到未来的 Hardware 4。这些是 2021 年的预测,并非已经展示的对比安全结果。

被问及对抗性输入时,他举出印有停车标志的 T 恤可能触发错误反应,并说可以针对发现的问题进行训练。

工程师说规划会考虑其他道路使用者的多种可能行动,需要平衡谨慎和实际通行;他们描述了不确定性高时减速的做法。

马斯克介绍用影子模式运行候选软件,将其假设动作与人类驾驶员行为比较;团队利用差异识别需要进一步分析的案例。

被问到技术栈中哪部分最重要时,团队说多个组件的改进都重要,并提到扩大周边视频的使用;他们也表示需要更多工程人才。

谈到持续学习,一位工程师说部署的模型会在发布前训练和测试,而非在车上大量实时学习。马斯克设想未来可调整驾驶偏好。

被问到 AI 对齐时,马斯克说强大的 AI 值得关注,同时将 Tesla 的近期目标描述为驾驶和实用机器人任务等较窄的系统。

最后一个问题涉及摄像头和未来硬件。马斯克预测当时的摄像头和计算能力可支持完全自动驾驶,并说后续硬件可能改善表现;这些都是 2021 年的预测。

马斯克设想自动驾驶车辆将来会像自动电梯一样普遍。[Tesla 目前的说明](https://www.tesla.com/support/fsd)指出,已启用的 Full Self-Driving 功能需要驾驶员主动监督,不能使车辆成为自动驾驶车辆。

同频道的其他文章

3:35:00EN → 简体中文
CNET Highlights· 2023年3月2日Tesla 2023 年投资者日:扩大清洁能源与汽车生产的计划Elon Musk, Zach Kirkhorn, Drew Baglino, Franz von Holzhausen, Lars Moravy, Colin Campbell, Pete Bannon, David Lau, Ashok Elluswamy, Rebecca Tinucci, Karn Budhiraj, Roshan Thomas, Tom Zhu, Mike Snyder, Laurie Shelby, Brandon Ehrhart · TeslaTesla 管理层介绍全球电气化情景、低成本汽车平台,以及规模化所需的工厂和供应链。Company BuildingProduct StrategyAI Strategy
41:04EN → 简体中文
CNET Highlights· 2023年3月2日Tesla 2023 投资者问答聚焦电池供应与成本Elon Musk · Tesla高管解释精炼、工厂本地化和干法电极量产;马斯克讨论支付能力与未来自动驾驶车队。特斯拉电动车Energy+1
8:15EN → 简体中文
CNET Highlights· 2023年3月1日特斯拉 2023 年计划估算全面电气化能源系统的规模Elon Musk, Drew Baglino · Tesla马斯克与 Drew Baglino 介绍一项能源转型方案,估算所需的电池、可再生能源发电和制造投资。Energy
53:25EN → 简体中文
CNET Highlights· 2022年12月1日Neuralink 研究人员谈植入设备寿命、安全与无线数据Elon Musk · Neuralink在 2022 年问答中,团队解释动物实验结果、设备取出风险及脑信号压缩方法。Brain-Computer InterfacesAI research
幻灯片7:20EN → 简体中文
CNET Highlights· 2022年12月1日Neuralink 2022 年猴子演示:选择高亮按键Elon Musk · Neuralink马斯克展示植入设备控制光标,并强调猴子是在跟随提示,而非自主拼写。NeuroscienceRoboticsHuman-AI Collaboration
2 张幻灯片3:39:05EN → 简体中文
CNET Highlights· 2022年12月1日Neuralink 2022 更新:从神经信号到实用接口Elon Musk, DJ Seo · Neuralink工程师解释光标解码、植入物和机器人辅助插入,并区分动物演示与临床设想。NeuroscienceRoboticsAI in healthcare