郎咸朋谈自动驾驶十年：从高精地图到端到端模型

张小珺介绍，这次与理想汽车自动驾驶研发副总裁郎咸朋的访谈录于 2024 年 12 月。郎咸朋 2013 至 2018 年在百度工作，随后加入理想；文中所说的“今年”指 2024 年。

郎咸朋回忆，2014 至 2015 年百度自动驾驶团队刚成立时，系统依赖多台激光雷达、高精地图和大量人工编写的规则。2015 年乌镇演示时，工程师用上万行条件判断写出了自动驾驶程序。

当时的设想像是给道路铺设虚拟轨道：地图负责静态道路，车身周围的激光雷达负责探测人和车。只要轨道足够准确、更新足够快，汽车就可以像有轨交通一样沿其行驶。

困难是覆盖与更新。郎咸朋说，高速公路相对容易维护，但普通道路里程多、修路和改道频繁，很难给所有道路建立并持续更新高精地图。

他认为特斯拉较早提出不依赖高精地图和激光雷达、转向纯视觉的路线。行业里有些人当时不理解，也有人已投入大量资源，难以转向。他把后续趋势概括为更实时的感知、决策和规划。

这并非汽车第一次尝试靠自身感知识别环境。早在八九十年代，研究者就探索过自动驾驶，但摄像头、图像算法和计算能力有限；较简单的雷达信号更容易处理。郎咸朋把那时的探索比作蒙着眼睛借助声波行驶。

随着计算芯片和图像处理算法发展，尤其是深度学习兴起，行业重新审视视觉能否用于驾驶。他说，特斯拉一方面发展 BEV 等算法，另一方面在车载芯片无法满足需求时选择自行设计芯片。

按他的回忆，特斯拉后来使用两颗各约 72 TOPS 的芯片；当时业内可用算力较低。他强调这些数字应放在当时硬件条件下理解。

BEV 即鸟瞰视图。郎咸朋解释，早期辅助驾驶主要使用前向摄像头，侧后方往往依赖毫米波雷达；盲区提醒只需知道后方有物体，自动驾驶则需要更准确的方位和运动信息。

早期高线数激光雷达价格很高。他回忆，百度和 Cruise 早期测试车使用多台激光雷达，百度一辆测试车连传感器和设备约需 500 万元，难以直接用于量产。

张小珺问为什么特斯拉坚持视觉。郎咸朋说，图像不仅包含颜色和物体内容，也能结合画面变化及不同相机的视差推测空间位置与运动；围绕车身配置摄像头，可将多个方向的信息用于整体感知。

多摄像头也增加了计算量。他认为这促使特斯拉针对自己的算法设计专用芯片。采访时他估计特斯拉一辆车的传感器加芯片成本约为 1,000 美元，这是他的当时估算。

他用量体裁衣比喻专用芯片：通用芯片要服务多种算法，定制设计可针对自家需求优化，但未必适合其他算法。他还提醒，比较系统不能只看标称 TOPS，实际能有效利用的算力也很重要。

一种直观的多摄像头方法是先分别识别每张图，再把结果融合。但不同画面可能漏检、误检，或只看到物体的一部分，后续合并时就会产生不一致。

郎咸朋用先整合信息、再统一识别的方式解释 BEV：从各摄像头提取特征并共同计算，再把结果映射回各视角。用同一来源的结果可以改善跨视角的一致性。

他从特斯拉的路线中总结出一种思路：遇到原方法固有的问题时，重新审视问题并改变解决方式。Transformer 来自 Google，特斯拉将相关架构用于自动驾驶；在他看来，关键是发现多视角感知可以怎样组织。

即使有 BEV，早期系统仍分为感知、决策、规划和控制等模块，感知结果怎样转为驾驶决策仍需要工程师设计规则。他认为，这些规则很难让车辆在所有道路上开得像人。

谈到激光雷达与摄像头，郎咸朋比较了画面和点云的密度：摄像头提供高分辨率及颜色信息，激光雷达则可以直接测量被扫描点的距离。他认为两者的信息特性不同，也指出远处或反射率低的目标可能得到较少点。

张小珺追问为什么仍有公司坚持激光雷达。郎咸朋把问题引向端到端：即使改善了感知，模块之间仍传递经过处理的信息，后续决策继续依赖人为设计。

他区分做一个定义明确的产品功能和培养驾驶能力。平板按钮、屏幕亮度等需求可以逐项写清，但驾驶结果还受天气、交通、道路和其他参与者的相互影响。

同一条路在雨天可能需要降速；超车时还要看车道线、行人和自行车。郎咸朋回忆，有团队试图把天气、车流等变量拆开，再为大量组合分别编规则。他认为组合数量巨大，而且规则彼此会产生影响。

高速和城市也不能完全按道路名称切开：城市快速路可能与高速相似，高速堵车时又像城市拥堵。一个场景的修正还可能改变另一场景的表现。

此外还有难以预先列出的长尾，例如突然出现的动物或道路塌陷。他说人即便认不出路上的东西，也可能先停车或绕开；他希望系统具备处理未预先定义情况的能力。

郎咸朋把从人工编写规则转向数据和模型学习称为从“软件 1.0”到“软件 2.0”。他的核心判断是，团队不再逐个规定动作，而是提供驾驶数据，让系统学习并持续迭代。

他把模型训练比作教育孩子：团队可以提供数据和训练资源，却不能直接替模型学习；训练完成后，需要通过实际驾驶和测试判断结果。高质量数据和训练算力在他看来共同决定能力上限。

郎咸朋说，2013 至 2018 年他在百度工作。2018 年与李想讨论加入理想时，他提出数据会是长期关键资源：人才可以招聘，算力可以购买，而自身积累的驾驶数据需要从一开始建设。

张小珺问及隐私。他表示，公司收集车外数据，并对人脸和车牌进行处理；他提到此前在百度街景处理相关信息的经验。这是受访者对当时做法的描述。

谈到研发团队规模，他说路线变化并非简单地一直缩小团队。早期如果自行制作高精地图，就需要相当规模的地图团队；这引出他在百度从街景走向高精地图的经历。

郎咸朋 2013 年加入百度时参与街景项目。腾讯街景已上线，Google 也做了多年，百度希望补齐地图产品的街景能力。

2013 年下半年，宝马中国的研发团队希望在中国测试自动驾驶，并寻找高精地图合作方。郎咸朋说，宝马评估了几家地图公司后选择百度；双方当时都在探索如何建立这种地图。

百度内部由研究团队和地图团队共同对接。郎咸朋回忆，最初有四人组成小组，一边服务宝马、一边向对方学习；宝马还提供测试车辆，后来用于北京道路演示。

地图团队用采集车及测绘资质，结合宝马的需求和自身理解制作高精地图。百度研究院偏向更高级别的自动驾驶研究，另一条工作则更多面向量产和车厂合作。

张小珺问 L2 和 L3 有何不同。郎咸朋按自己对早期定义的理解解释，L3 在某些条件下涉及系统责任，需要提前提示接管，无法接管时还要考虑安全处理；实际责任和运行条件仍取决于具体系统及规则。

他把 L4 描述为限定场景或区域内无需人持续驾驶，L5 则是更广泛条件下的完全自动驾驶。他认为后者仍很遥远，并提醒这些是用来理解的分级。

从用户体验看，他更关注驾驶是否需要人监督。限定区域内的无人车可以使用高精地图和场景分析；对乘客而言，采用哪种技术路线不如乘坐体验本身重要。

量产车面对的需求不同：用户希望在更多地方都能使用。郎咸朋说，理想将 L3 视为 L4 的先导，而不是不断给 L2 的规则和场景打补丁后的自然延长。

他认为规则无法穷尽场景，团队必须先考虑如何使系统持续学习和改进。但 L4 不可能一步覆盖所有路段，因此产品需要逐步推进。

他举“车位到车位”为全场景能力的例子：系统要处理园区、城市、高速、收费站、匝道及停车等环节，还要面对潮汐车道和交通信号。这里的目标是处理不同情况的能力，而非逐一记住每条路。

在性能尚不足以完全自主运行时，驾驶员仍要监督，像教练看着新手开车。随着能力改善，设想是在适合的路段逐步减少监督，在复杂情形下仍需要人关注或接管。

郎咸朋说，端到端技术面向自动驾驶开发，现阶段也可用于需要监督的驾驶产品。团队希望利用自身积累的数据和训练算力，以数据驱动方式改进驾驶能力。

张小珺问何时可以扩大无需监督的路段。郎咸朋提到团队测算的平均接管里程：高速约 350 公里、城市约 50 公里，按当时行驶结构综合约 200 公里接管一次。他同时提出安全性应达到人类驾驶的十倍；这些是其介绍的产品目标和测算，不是对现实安全性的证明。

他认为特斯拉的优势包括关注前沿技术，也重新思考产品问题的本质。理想团队从 2023 年下半年起每周讨论 AI，并向李想介绍系统一和系统二的思路。

在他的解释中，系统一负责快速、接近人类行为的驾驶决策；遇到陌生或需要推理的场景时，系统二帮助理解环境，再与系统一配合。团队认为结合技术方向、数据和算力才有机会追赶。

张小珺问端到端与大模型有什么关系。郎咸朋把端到端描述为组织问题的思路：尽量让原始传感器信息进入模型，直接得到驾驶决策或规划；大模型则提供实现这一思路的一种技术。

传统模块先输出感知结果，再由决策规划模块使用。如果前一阶段有错误或信息损失，后续阶段可能继续放大误差。端到端希望减少中间人为转换，让最终判断更充分地利用输入。

他解释，模型可以将图像、导航及其他输入编码成可供学习的表示。不同模态的信息形式原本不同，编码后可以在共同的表示空间中参与训练；具体模型参数和训练方式则仍需实验。

郎咸朋以摄像头画面为例：传统流水线可能先识别人、车和道路，再判断跟车或变道，最后生成轨迹；端到端模型尝试从输入直接生成行驶规划。代价之一是团队不容易解释模型内部为何作出某个选择。

对于系统从未见过或需要推理的情形，他举出有时间限制的公交车道标牌：视觉语言模型可以帮助识别并理解标志，再与端到端驾驶系统的结果结合。

世界模型在他介绍的架构中用于测试。原先测试常检查产品功能是否符合明确设计；如果目标变成持续学习的驾驶能力，团队还需要能评估能力变化的方法。

他将测试比作考试：题目涵盖安全、合规、舒适、导航等维度，每个维度有基础题和难题。每个版本都要通过测试；安全项目有较高门槛，总体表现也不应低于上一版本。

如果永远用同一套场景，模型可能记住答案。团队因此结合真实场景重建和新场景生成：前者相当于真题，后者类似模拟题，用不同变化检验同一种能力。

郎咸朋把车辆在现实中遇到的问题送回测试、以奖励与惩罚评估行为的闭环称为强化学习。他说奖励机制需区分安全接管与舒适性接管，如何做出可靠判断仍有难度。

对于李想首次试驾端到端模型的时间，郎咸朋回忆在 2024 年初夏：一小时左右的测试中只有一两次接管，表现超出预期。他将进展归因于团队方法、数据和算力，而非单纯归功于某个人。

郎咸朋说，2024 年 3 月的战略讨论中，李想要求团队扭转智能驾驶体验落后的局面。团队将此前的端到端预研转向交付，4 月中旬约 180 人集中开发。

他回忆五一期间从中关村附近开往北京交通大学的早期测试。系统没有按旧方法逐条编写驾驶规则，却能完成行驶；尤其是加减速和刹停的平顺性给他留下深刻印象。

他用代码量的变化描述转向：之前的方案约 200 万行，新的方案缩减至约 20 万行。他表示这些数字是形象说明，模型学到的驾驶表现让团队对后续迭代更有信心。

谈到 3 月会议上的压力，他说团队有时认为指标已接近竞争对手，但追赶者要改变外界印象，需要明显改善体验。端到端专项小组后来获得管理层支持。

这让他想起 2021 年的自研项目。当时理想计划升级理想 ONE，旧供应商提出昂贵开发费用、拒绝交付可修改的代码，还希望理想将后续研发交给它并解散内部团队；这是郎咸朋对谈判的回忆。

他说，供应商条件反而促成内部决断。春节期间李想询问他是否有决心自研，他表示愿意负责；公司随后决定自行研发，并从各部门组织一百多人参与。

张小珺追问，既然自动驾驶重要，为何 2018 至 2021 年没有更早大规模自研。郎咸朋解释，公司当时资源有限，先要把车造出来并建立销售和交付体系，再逐步增加研发投入。

他承认曾担心自己的职业发展，但逐渐理解公司按阶段配置资源的战略。他说后来的投入和成果建立在前几年积累之上。

至于为什么不是一开始就直接做端到端，他认为团队仍需经历有图、轻图和无图等阶段，才能理解各路线的问题。即使受到批评，团队也逐代交付，让用户得到比上一代更好的产品。

郎咸朋说，交付有三个作用：给用户提供实际价值、帮助团队发现问题，也让公司通过实践理解技术，而不是只追逐行业概念。

他认为 2024 年智能驾驶成为消费者选车时更重要的比较点；理想上半年也因竞争对手的驾驶体验而丢单。按他的说法，当年训练资源投入显著增加，团队当时约有 800 多人。

谈到理想提出成为人工智能企业，他并不意外。他认为公司应先做好车上的智能，再逐步扩展能力，访谈时智能驾驶和车内助手仍处于早期探索阶段。

郎咸朋说，团队近期与李想讨论自建多模态基座模型。外界可能认为现有大模型已经很多，自建成本高、难以竞争；他从必要性和可行性两个角度考虑这个问题。

他认为长期依赖外部基座存在供给风险，通用模型也未必会按单一企业的需求优化。他预计强基座能力可能集中在少数公司，因此希望掌握自己的基础能力。这是他的判断。

在他的设想中，自动驾驶、理想同学和智能工业等应用都可建立在共同的模型之上：基座提供对世界的知识和理解，各应用再发展具体能力。

他表示视觉语言动作模型已经开始预研，并预计未来一至三年可以看到进展，但并不确定它是不是最终形态。基座模型的目标，是让驾驶、对话和机器人等任务共享知识。

他举出掀开的井盖作为例子：如果只有专门的驾驶模型，可能需要收集大量相似案例；若基座已理解井盖、空洞和危险区域，这些知识有望帮助驾驶系统理解新场景。

他在访谈中画出一个分层设想：基座位于底层，自动驾驶中的视觉语言动作模型与世界模型以及其他应用建立在其上。采访时，各团队还在训练相对独立的模型，统一基座仍非常早期。

张小珺问自动驾驶行业为什么出现那么多技术争论和团队分歧。郎咸朋认为，新技术尚未得到验证时存在不同判断并不罕见；竞争也可能促使参与者更快迭代。

回顾职业选择，他说在百度做街景时，最有成就感的是亲友能打开地图直接看到自己做出的产品。离开百度时，他希望技术真正进入用户手中，因此将目标放在车厂。

他认为加入理想在一定程度上实现了这一目标：访谈时已有大量车辆使用团队开发的驾驶功能。至于更高水平的自动驾驶能否实现，他说仍要看未来 L3、L4 的进展。

张小珺问他为何能在理想工作多年。郎咸朋说，自己认同公司的战略和节奏，觉得还有事情要完成，也在管理方面获得成长：先确定战略与业务打法，再建设组织执行。

他称赞李想愿意分享战略和战术思考，也愿意听取反馈。谈到李想 2024 年更重视 AI，他认为既有外部大模型发展的推动，也有亲身体验端到端驾驶效果带来的触动。