OpenAI 的 500 万美元押注：60 人团队想让 GPT-4V 赋予汽车常识

OpenAI 首届开发者日两天后，这家公司仍在制造新闻。它的创业基金向 Ghost Autonomy 投资了 500 万美元。这是一家成立六年的自动驾驶创业公司，已融资超过 2 亿美元，目标是把大型多模态模型带进汽车。Cognitive Revolution 节目的主持人 Nathan Labenz 把这笔交易看作一场押注：押注以软件为主、建立在通用硬件之上的系统；它的目标是与汽车厂商建立长期合作，无意打造 Ghost 自己的无人驾驶出租车车队。

Labenz 指出，自动驾驶汽车已经上路，但出于技术和社会两方面的原因，还没有准备好大规模投入使用。Ghost 想攻克的技术瓶颈，是人类司机凭常识就能应对的那一长串罕见场景。在公司已经做好的低层、高频组件之上，计划是让一个具备世界知识的大型多模态模型来做高层决策，并告诉那些专用系统该做什么。

Ghost 的创始人兼 CEO John Hayes 说，这次合作是一场追逐的顶点，那场追逐始于 3 月：当时 OpenAI 宣布了具备多模态能力的 GPT-4，但它还不太能用。他看到的是，车辆自动驾驶乃至大部分机器人技术的构建方式将被重置。在他看来，AI 正在“摧毁计算机科学的整片领域”。他说，特斯拉最近的动作也承认了这一现实，但 Ghost 是第一家把多模态 LLM 直接放进驾驶路径的公司，他认为其他人很快也会这么做。

Hayes 是一位连续创业者，并非职业机器人工程师。他在加州的第一份工作在一家虚拟世界创业公司。他在雅虎做了几年的人才搜寻，然后联合创办了 Pure Storage，并在那里待了十年。把存储和自动驾驶联系起来的，是一套可以复用的公式，它跨越了不同领域。大约在 2009 年，闪存已经开始接管消费级设备：新款 MacBook Air、售价 100 美元的笔记本，以及每一部手机。Hayes 的团队押注闪存也会接管企业市场。他们把消费级硬件搬进数据中心，在让它可靠运行的软件上投入重金，最终卖出的存储设备，成本与原有的主流存储系统相近，速度却快了十倍，而且可靠性更好、能耗低得多。

2017 年，他尝试把同一套公式用到自动驾驶上。他住在山景城，身边近十年都是测试车，他注意到两件事。第一件是一种乌托邦式的说法：人们会干脆不再拥有汽车。他说，数据并不支持这一点：出租车约占出行的 1%，公共交通再占 1%。有幼儿的家庭会把儿童安全座椅和日常杂物留在车里。汽车是家的延伸，这种习惯并没有消失。第二件是成本。激光雷达、定制计算机和测量级地图，造出的产品贵到让追逐无人驾驶出租车的公司，在他看来错过了 98% 的市场，而且很难顺利地降下来。

因此，Ghost 押注了两种趋势，他至今仍称之为几乎不可否认。移动摄像头和移动芯片会持续进步，因为手机发布会仍然主要卖的就是更好的拍照效果。而 AI 会冲击自动驾驶这些年靠手工打造的专用算法。Waymo、Cruise、Nuro，以及几家已经不复存在的公司的创始人，都出自 2004 到 2008 年的 DARPA 城市挑战赛。那项比赛假定有一张城市地图，用激光雷达找出车辆大小的移动物体，摄像头主要用来读取红绿灯，因为 2008 年的图像识别还不够好，做不了更多。Hayes 说，十年后，事情显然没有那么简单；如果没有一场技术重置，行业是完成不了这项任务的。

经典的自动驾驶技术栈，就是这套 DARPA 设计的精细化版本。你先要有一张地图，编码交通规则，以及你对其他人行为的预期。认真的团队会用激光雷达，对照每一栋建筑和每一棵树的三维扫描做定位，再运行感知，把其他参与者放到同一张地图上。预测通常以约 10 Hz 的频率运行，尝试推测这些参与者在接下来一秒内会去哪里，因为车辆有惯性，无法瞬间反向。随后规划去搜索路径。这种失败模式很出名：如果你把附近车辆可能做出的每一次突然变道都考虑进去，唯一安全的答案就是原地不动。预测和规划彼此喂养，搜索过程可能得出结论：任何移动都不值得。

Waymo 最初是谷歌的自动驾驶项目，是这一路线的鼻祖。Hayes 回忆说，它大约在 2011 年启动，2013 年前后开始规模化。Cruise 从 2015 年起，用基本相同的技术栈稳住了第二的位置。卡车公司如 Aurora 和 Kodiak 保留了分层设计，但把感知和预测延伸到数百米之外，因为满载的卡车是高惯性的机器。更激进的阵营，包括英国创业公司 Wayve，则把各个阶段都抛开，训练一个从传感器直接到轨迹的端到端模型。Hayes 说，特斯拉已经依次尝试过其中几种想法：早期的 FSD Beta 跳过了预测，后来换成了加入更多模型的经典求解器，然后又朝端到端方向重启了一次。

Labenz 勾勒了一个二乘二的格子：一条轴是昂贵的专用传感器与手机摄像头，另一条轴是模块化工程与端到端学习。Hayes 把它简化为两种“知道系统在工作”的哲学。一种是推断：如果每个部件都可靠，系统就可靠，汽车安全论证大多是这样写的。另一种是测量：不再为各个部件找理由，转而观察它在路上实际发生了什么。Aurora 无法驾驶一百万辆卡车，所以它必须从部件出发推理。特斯拉拥有约 100 万辆车，以及数千名（或许数万名）可信驾驶员，因此它可以发布、测量，并用统计方法找出真正的问题。你掌握多少数据，决定了你能负担得起哪一种哲学。

SAE 分级有五个等级，但在 Hayes 看来，真正有意义的大约是两级半。消费级汽车处于 L2 级（Level 2）：自适应巡航、自动紧急刹车和自动转向，且要求人类必须一直盯着。L3 级是车辆第一次能够表示，它掌握了路况，司机可以在听到提示音之前看看书。奔驰率先把第一款 L3 级产品推向市场，作为堵车辅助：时速低于 40 英里（约 64 公里），周围车道已满，道路有地图，天气符合条件。宝马和日本的 Acura 也宣布了类似的产品。L4 级增加了最小风险状态（MRC）：当系统无法应对某个场景时，会退回到基本的安全动作，通常是在城市里原地停车。L5 级是能应对任何场景的汽车，“可能永远不会存在”。作为一门生意，无人驾驶出租车属于 L4 级。Labenz 问过的几位乘客都说，它们比优步更好：你观察一分钟，然后就能放松下来。Waymo 选择在亚利桑那州起步，因为那里天气干燥，高温让行人不愿上街，而早期 Cruise 的运营都在夜间。旧金山现在只有 Waymo，它仍然避开最陡的坡道和最拥挤的时段。这个行业的软肋，是 Hayes 所说的“诡异谷”：一个 99% 时间都能正常工作的系统，会训练人们停止关注，而剩下的 1% 来临时，没有人做好准备。他暗示，这种动态可能也是 Cruise 出问题的原因之一。

Ghost 的硬件清单刻意保持简短：消费级摄像头、消费级芯片，以及一颗雷达。雷达已经装在约 30% 的新车上，是全固态的，量产几十年，早就没有争议。激光雷达最受推崇的能力，是直接测量距离。Ghost 用双目立体视觉取代了它：一台计算机接两台摄像头，由 AI 算出真实距离。传统立体视觉要么需要定制芯片，要么在标定时就失败：像素只有 1 微米宽，哪怕 1 微米的畸变，也会破坏匹配。Ghost 的立体视觉以每秒 30 帧运行，而激光雷达通常是 10 Hz；一台 1200 万像素的摄像头，纵向大约有 1000 条扫描线，相比之下，昂贵的激光雷达只有 64 条。这样堆叠起来的通用传感器，分辨率反而超过了专用设备。

软件上的赌注是速度。大多数技术栈的决策周期约为 100 毫秒。Ghost 把它推到了约 30 毫秒，快了大约十倍，这在高速公路上相当于一米的行驶距离。如果判断错了，代价就是一米，而下一次决策马上就到。在几百毫秒的时间里，一辆有惯性的车辆无法大幅改变加速度，所以未来的分支树保持得很小，那套沉重的预测和规划机制就可以扔掉。Hayes 说，这正是他自创办公司以来一直在追寻的问题：当你只有大约 60 人时，怎样设计一种不需要 Waymo 那数千名工程师的架构？

围绕这一选择的纪律非常严格。系统是完全对称的：同一套软件栈在同一硬件上既记录数据又运行推理，因此没有专门的测绘车。从路上发现问题到发布修复的闭环保持很短，公司一天会发布多次软件版本。Ghost 还拒绝向司机索要设置。其他辅助系统需要用户设定巡航速度和跟车距离。Ghost 则用立体视觉和雷达读取交通状况，自行选择这两项参数，并在停停走走、车流密集和车流稀疏之间自动切换。车应该感觉像是漂在车流里，不去机械地执行你输入的那个数字。Ghost 不造整车。它的生意是做供应商，给通用汽车、福特及其同行一个应对特斯拉 FSD 的答案。

边缘情况仍然层出不穷。一个看起来稳健的车道模型，在有树的地方性能下降；原因是阴影、一天中的时段和眩光，因为模型假定了某种光照，而路外的物体会打乱这种光照。他们还在一些道路上发现了真的洒落的白色油漆。每一次意外，都意味着更多数据、更多训练、更多规划逻辑。城市驾驶是每支团队十年来都撞上的那堵墙。Hayes 的诊断很直接：长尾就是常识，而常识没法被枚举成规则。因此，公司采用了一种哑铃式结构：车内是小而快的模型，它们的训练集还是一个人能够凭直觉理解的；另一端则是已经吸收了几乎全部人类文本和图像的模型，这样就没有人需要去猜，场景里什么才是显著的。

转折来自 GPT-4V。Ghost 最初把它当作标注员来用，借它来判断场景里有没有树或桥，省得为此专门训练识别器。随后团队注意到，这个模型本身已经具备驾驶常识。一个看似简单的问题成了测试：我现在是不是在这条高速公路上？在匝道附近，GPS 并不可靠，所以视觉画面才是更好的事实来源。一个开源多模态模型 LLaVA 开箱即用时，大约有 60% 的正确率。用几百个街景做微调之后，正确率提高到约 98%。带有交通指挥员的施工区，也能得到合理的回答。这条路线不再是一堆专用检测器的堆砌。你可以把图像展示给模型，标注传感器能测量的东西，然后询问车辆应该怎么做。

新架构把驾驶分成两层。车内的高速系统以 30 Hz 运行，负责安全：避撞、车道保持，以及任何以毫秒计的事情。在它之上是一个慢得多的模型，训练于广泛的人类知识之上，看着同样的传感器，在机动动作层面下达指令。“汽车变成了一个 API，”Hayes 说，由一个 LLM 来下达指令。过去增加一个新信号，意味着要数据集、要识别器，还要修改规划代码，而且要一直这样下去。反过来的做法，是把场景完全打开，问模型，并让它用视觉元素来解释答案。Labenz 自己在马萨诸塞州的塞勒姆试过一个版本：一块贴在路灯柱上、上面横着几道胶带的十月临时停车标志。ChatGPT 读懂了标志，然后推断出是女巫审判旅游和季节性交通。这种跳跃，就是人们所说的幻觉。Hayes 却称之为模型最好的部分，因为“幻觉正是所有常识发挥作用的地方”。

地图并没有消失，只是换了职责。获得授权的地图事实会作为免费的上下文放进提示词。地图同时也是记忆的索引键：过去行程中的图像，以及从中得出的推断，会按道路存储，这样就不必为那些没有变化的事实去调用 GPT-4V（每次请求要 10 到 30 秒）。如果当前画面里正好有一把雨刷，那么昨天的照片才是更好的输入。长期记忆就是地图；短期记忆则是标志和其他观察，以文本形式保存，随着汽车前进而过期，再反馈回提示词里。这让整个系统看起来像一个具有两种时间尺度记忆的智能体。延迟并不让 Hayes 太担心。GPT-3.5 一年内快了十倍；在汽车厂商五年的规划周期里，他预计模型会快 100 到 1000 倍，也会更便宜。设计上的默认选择是调用最大的模型。只有最简单的问题，比如空旷的乡间道路上车子周围有没有东西，才会交给一个便宜的专用模型。

他想要的产品，是一辆能用平实语言解释自己的汽车。今天的租赁车会发出蜂鸣，闪出你从没见过的标志。屏幕删掉了按钮，换成了更深的菜单，因此可发现性反而变差了。Ghost 目前的行为分阶段：你在开车时，它就是一辆 100% 的传统汽车，不跟你争夺控制；如果你松开手，默认行为是继续沿着道路行驶；你可以说“在下一个路口左转”，或者直接给它一个目的地；车内摄像头则有助于判断你是否打算接管。接下来是对话。汽车已经知道你是在加油站、充电桩旁，还是在未铺装的道路上，因此按钮和菜单都可以去掉。为什么选 OpenAI？Hayes 说，因为今天你能调用的先进多模态 API，是唯一的玩家。谷歌的 Gemini 一直在许诺，却一再拖延；Anthropic 的多模态计划也不明朗。企业会大量消化文档。消费者受限于手机键盘，会大量消化摄像头画面、视频和上下文。驾驶只是同一转变中的一个子集。

Labenz 自称是自动驾驶的加速派。开车本来就很危险，在 Cruise 和特斯拉运营的领域里，它们的安全数字至少不比人类差，而社会对这项技术仍然以耸耸肩或叫停来回应。Hayes 回应说，大多数消费者从未体验过任何形式的自动驾驶，所以他们的看法是在媒体报道的真空中形成的。坐过这些系统的人往往会变得乐观。Labenz 借了邻居的一辆特斯拉，带祖母开了一趟八小时的往返路程。途中中西部夏季的雷暴倾盆而下，汽车把控制权交还给了他；其他几个时刻也有点怪异。但他从来没有觉得不安全，他宁愿让车来开。

Hayes 说，特斯拉车主已经分化成两派。一派学会了系统的“小毛病”：这个弯道、这种天气、这座桥，他们会下意识地接管和恢复，让这项功能保持开启的时间超过 90%。另一派只被吓过一次，就再也不碰它。行业还没有想明白，怎样让人们在上手过程中学会它的边界，免得被它弹开。监管者也不是魔术师。汽车法规通常是性能标准，往往在产品上市数年乃至十年之后才写成，因为新产品出现时，没有人能拿出存在性证明。今天销售的带自动转向功能的汽车并没有专门的监管法规，Hayes 认为这样是对的：目前还没有一个公式能说明某一种路线明显更好。

谈话转向大约一个月前的 Cruise 事故。一辆人类驾驶的汽车在旧金山撞上了一辆 Cruise 无人驾驶出租车；一名女性行人被撞到 Cruise 车辆的前方；刹车之后，这辆车执行了最小风险靠边停车，把她拖行了约 6 米。加州吊销了它的运营许可，之后 Cruise 自行关停了全国其他车队。Labenz 希望有人站出来说：这项活动本来就更安全了，这起事故很糟糕，他们会修复，也不会关门。Hayes 的态度要冷峻得多：在一起本可以向公众解释为罕见事件的事故中，Cruise 在各级政府关系和媒体层面都输了。底层的工程失误在于，靠边停车是一个被编程好的终止状态。Cruise 此前已经因为原地停车、堵住了应急车辆而挨过批评，所以 MRC 逻辑试图驶出车流，结果选择了错误的安全动作。决定何时冻结、何时靠边、何时等待，是一个常识问题，传统编程可能永远无法完成。Hayes 说，Cruise 面临的是二选一：要么为赢回城市而奋力一搏，要么关门停业。两条路都很难。

Labenz 想点燃一根中美之间的导火索：把树修剪好，把标志涂清楚，不要在任何人部署之前坚持要求比人类安全十倍。Hayes 用不浪漫的数字回应。中国每年有 2000 万名首次上路的新司机，这股实际上等同于青少年的新手洪流，让道路死亡人数的任何飙升都可能变成政治风险。只有两家公司能按百万辆量产电动车，特斯拉和比亚迪，而比亚迪是中国企业。美国汽车厂商被电动车之争占满了精力：矿产、工厂、再培训，以及如何把电池装进最畅销的皮卡。在行业会议上，这种分化被概括为“1% 的自动驾驶（AV），99% 的电动车（EV）”。美国监管者跟着消费者走。Hayes 认为，技术竞赛要等到人们想要这款产品之后才会开始，而这种需求必须通过人们真正能坐上的乘车体验来培养。他原本希望 Waymo 凭借免费首乘，从一座城市扩张到另一座城市。即便没有 Travis Kalanick 那样的人物，无人驾驶出租车公司仍在不断扩大业务范围；比起一句“打败中国”的口号，他更希望看到这股自下而上的热潮。

把视野放远到汽车之外，Hayes 看到 AI 正在重塑计算机科学本身。要让它无处不在，关键瓶颈在于真正理解它的人，芯片倒在其次。生成式模型改变了受众：一个不会写 Python 的人，现在也能接触一个系统，并得到回应。他说，它所释放的创造力没有已知的上限。好的结果仍然需要一个愿意写很多提示词、认真思考的人，但随着模型进步，这项技能的重要性会降低。Gemini 会推出，Claude 的新版本会问世，而模型的功能会像 CPU 那样趋于一致。一旦如此，生成式 AI 就会同时调节 API 和人，“人类知识的全部”会沦为一种竞争激烈的商品。过去十年里的“无代码”卖点，终于成真了：用日常语言说出你想要的东西，让计算机去做过去难以触及的事。

这一期节目余下的部分，留下了一份实用的阅读清单。判断一个 AI 系统时，要看它的错误从何而来，而不只是看错误率。试着把 GPT-4V 放到一个杂乱的路牌或施工区里，看常识如何补上识别器永远补不上的空缺。评估一家硬件创业公司时，要看它依托的供应链：Ghost 押注的是手机行业每年在摄像头和芯片上的进步，而激光雷达公司必须自己扛着成本曲线。如果你做软件，留意一下：Gmail 的设置、Salesforce 的配置，以及汽车菜单，其实都是同一种臃肿的界面；替代方案是一个已经掌握上下文的系统，你就不必再去翻找菜单。还有，不要把你对自动驾驶的看法交给新闻周期去决定。如果你的城市有 Waymo，就去坐一次；如果有人提供特斯拉 FSD 的演示，就去体验一下。Hayes 的论点从无人驾驶出租车的讨论一直贯穿到最后：亲身体验过这些系统的人会变得更乐观，而这种体验，正是监管和需求真正开始移动的基础。