30 秒でわかる
张小珺采访 Google DeepMind 机器人团队高级研究科学家兼技术负责人谭捷,讨论机器人智能如何从仿真走向真实世界。谭捷从计算机图形学和 Sim-to-Real 强化学习谈起,解释大语言模型如何为机器人补上语言理解与常识,Gemini Robotics 1.5 如何加入思考过程并利用跨本体数据,以及为什么机器人数据比互联网文本更难规模化。 访谈还讨论了世界模型、生成式仿真、视觉与触觉、通用机器人与垂直应用的不同路径,以及 Google 研究团队的组织方式。谭捷认为规模是必要条件,但创新、数据覆盖和质量同样重要;机器人能力进步很快,却不能把演示视频当成普遍能力,真正进入家庭仍有距离,安全研究必须同步推进。
- 1Sim-to-Real 改变了机器人步态研究谭捷在 Google 的第一篇机器人论文将深度强化学习用于四足机器人敏捷行走,探索把仿真里学到的能力迁移到真实机器上。
- 2机器人大模型目前仍依赖多模态基础模型机器人模型要在基础模型上加入动作输出和机器人数据。谭捷认为,至少目前它还不是完全独立于大模型的学科。
- 3机器人数据需要一座分层的数据金字塔互联网和人类视频容易扩展,仿真数据更接近机器人动作,机器人专属数据质量最高但采集最贵;每一层都有用途。
- 4Gemini Robotics 1.5 把思考与动作串起来模型可以先生成简短的任务推理,再输出动作,并继续思考下一步;这让多步任务更容易拆解,也让人看到机器人打算做什么。
- 5真实机器人数据难以成为唯一的数据来源遥操作设备、人员、维护和质检的成本很高。谭捷看好可扩展的数据组合,包括仿真、人类视频和模型生成数据。
- 6机器人安全需要跟着能力一起发展谭捷提醒,通用机器人和能自我迭代的 AI 可能带来严重风险;如果能力超过安全研究的理解,发展速度就应暂缓。
ポイント
- 计算机图形学为机器人提供了仿真环境,而强化学习和 Sim-to-Real 让仿真策略能够进入真实机器人。
- 当前机器人大模型主要建立在多模态基础模型上,再加入机器人动作数据,尚未成为完全独立的学科。
- 机器人数据处于复杂的非结构化环境中,互联网视频、仿真数据和机器人专属数据各有作用,关键在覆盖和质量。
- 跨本体迁移能让一种机器人学到另一种机器人见过的任务,但不代表新机器人无需训练就能通用。
- 机器人需要同时处理慢速规划和快速动作;未来统一模型可能减少信息损失,但目前受算力和实时推理约束。
- 演示中的成功不等于普遍可用,机器人安全、AI 安全与真实场景评估应随能力发展同步推进。
チャプターごとに整えた全文を読む
从图形学转向机器人
谭捷介绍自己的学习与职业经历,并解释图形学、仿真和机器人之间的联系。他在 Google 的 Sim-to-Real 强化学习研究,帮助推动机器人步态能力的变化。
谭捷开场说,在硅谷,很多人把机器人视为即将到来的重大变革,因此公司不断扩建机器人团队、投入机器人大模型。他还讲起一位刚毕业的美国博士,希望团队多招华人,并把“牛马”误当成勤奋的象征。
张小珺介绍,谭捷是 Google DeepMind 机器人团队的高级研究科学家和技术负责人,研究基础模型与深度强化学习如何用于机器人。节目希望从硅谷视角讨论机器人产业,也谈他们刚发布的 Gemini Robotics 1.5。
谭捷说自己在上海交大读书,小时候喜欢打游戏,后来赴美攻读计算机图形学博士。他逐渐发现,图形学是在仿真环境中处理运动,而机器人是在真实世界中处理相似的问题,可以把机器人理解成“在现实里做图形学”。
读博之前,谭捷在上海尝试过一家做图形学的创业公司;毕业后又在硅谷加入光场相机创业公司 Lightro,做能够拍完再对焦的相机。工作一年半后,他进入 Google,开始把研究带到更大规模的技术场景中。
谭捷在 Pixar 实习时接触动画研究,也研究用数学和物理方法让虚拟人物、动物自然行走。随着项目越来越多使用 AI,他发现这种基于物理的角色动画与机器人控制相近,便想把图形学方法用于机器人,而不只服务于影视和游戏。
他的博士导师 Karen Liu 支持转向机器人。谭捷最后一个项目用图形学方法控制小型人形机器人,让它倒立、坐下再站起。2015 年找教职时,同行对他从图形学转向机器人仍有疑虑,他没有拿到理想职位,后来去了硅谷。
谭捷说图形学与机器人本来就相互交叉,不少研究者都从图形学转向机器人。传统机器人常依赖规则控制、物理建模和轨迹优化;这类工作数学门槛高,而仿真里的图形学研究能直接读取关节、受力等状态,便于使用 AI。
在仿真环境里,研究者能获得机器人所需的状态信息并快速尝试控制算法。谭捷当时觉得,只要仿真和现实足够接近,模拟中的能力就可能迁移到真实机器上;这与当时机器人在真实挑战中的笨拙形成鲜明对照。
DARPA 机器人挑战中的机器常会摔倒,只能完成过坡、开车、拧阀门等有限任务;仿真里的角色却已经能跑跳、翻跟斗。谭捷想把仿真成果带进现实,让机器人能力获得明显进步。
他在 Google 的第一篇机器人论文名为《Sim-to-Real: Learning Agile Locomotion for Quadruped Robots》,把深度强化学习用于四足机器人的敏捷行走。对机器人领域来说,当时还很少有人使用这种方法,论文发表后得到积极反馈。
谭捷把强化学习视为过去十年的一次范式变化。十年前,波士顿动力的 Spot、Atlas 能做高难动作,但学界不清楚其控制方法;后来许多团队用强化学习与 Sim-to-Real,让机器人普遍具备跑跳、打拳、跳舞的能力。
这项工作并非借鉴大语言模型,而是更早受到 AlphaGo 使用深度强化学习的启发。谭捷用 PPO 等强化学习方法处理机器人运动;在他看来,过去十年的两次重要转变分别是强化学习和大语言模型。
张小珺问机器人研究该称为“具身智能”还是机器人学。谭捷说,具身 AI 不一定要求真实硬件,在仿真里研究机器人也属于具身智能;他更倾向于称机器人研究,因为团队既做模拟,也要让方法在现实世界中工作。
大语言模型出现前,机器人主要处理走路、路径规划和避障等底层问题,用户往往要为每项任务编程。模型带来语言理解后,人可以直接用自然语言下指令;它还提供常识,能把“做杯咖啡”拆成具体步骤。
谭捷把大语言模型比作大脑,负责理解、推理和计划;强化学习更像小脑,负责行走、平衡和手部动作。机器人要真正完成复杂任务,既需要知道该做什么,也需要稳定地把动作执行出来。
机器人大模型走到哪一步
大语言模型为机器人带来语言理解和常识,但动作输出仍需机器人数据。谭捷认为,目前具身模型仍与多模态基础模型紧密相连,演示到真实落地往往需要多年。
谈到机器人大模型是否是独立学科,谭捷说目前很难一概而论,但机器人智能的发展主要依赖多模态大模型。基础模型会看图、理解语言,却不能直接输出机器人控制动作,研究者需要加入动作数据与相关训练,让它能控制机器人。
他把当前很多机器人基础模型看作多模态模型的延伸:先利用已有模型的语言和视觉能力,再微调为动作输出。未来若机器人遇到独特的数据形式和模型瓶颈,才可能逐渐发展成更独立的研究方向。
谭捷认为机器人进步很快,但从演示走到可靠应用仍有很大距离。狭窄任务或相似任务能做得很好,通用的人形机器人却需要在各种环境中应对大量不同任务,当前成功率还远远不够。
抓取后放到指定位置这类简单 pick-and-place,成功率可能接近九成甚至更高;拉拉链则要找到正确位置、沿正确方向施力,成功率可能只有三四成。对现实生活而言,这种可靠性仍不可用,行业还要继续补足能力。
如果用 GPT 的进展作参照,谭捷说现在已经看到模型扩展可能有效的迹象,但还要两三年才可能达到让人确信的 GPT-3、GPT-4 式阶段。达到研究突破后,真正落地也可能再花五到十年。
他描述研究走向产品的时间差:一个想法到原型可能只要半年到一年,研究者很快就能写论文;从论文到敢做公开的实时演示,还需一两年,因为论文通常只在较窄条件下成立。
真正部署要经历更多迭代,自动驾驶就是例子:从挑战赛上的短距离驾驶,到固定园区演示,再到有限区域运营,前后隔了很多年。因此,机器人从论文或演示走到真实产品,十年并不算夸张。
张小珺追问为什么不按行业逐个解决,而要追求通用机器人。谭捷认为,先做专用系统和先做通用机器人都说得通。通用路线需要一位有远见的领导者持续投入资源;只有当团队真的相信这一最终形态,才能长期坚持。
他也不认为专业化路线错了。过去机器翻译、视觉问答各有专门模型;但当一个能力足够强的通用模型出现后,专用模型往往难以和它竞争。机器人领域可能也会出现相同趋势,不过行业的发展不只存在一条正确道路。
张小珺问近期进展加速的原因。谭捷提到多模态大模型和推理模型的发展:推理时可以投入更多 token 提高答案质量,机器人也能借助这类能力处理任务;Gemini Robotics 1.5 的思考能力正是一个例子。
另一个原因是资源和人才的集中。硅谷的公司相信机器人是重要变革,纷纷扩充团队和算力;竞争也让 AI 研究工作强度升高,大家担心团队落后后优秀研究者会转去领先公司。
机器人数据金字塔
机器人面对非结构化环境,数据比语言模型更难获得。互联网内容、人类视角视频、仿真和机器人专属数据分别提供不同层次的覆盖和精度。
谭捷认为,机器人模型面对的首要瓶颈是数据。语言模型能使用互联网文本、百科和数字化书籍,机器人却身处复杂、非结构化的环境,任何场景都可能出现,所需数据既庞大又多样,目前远远不够。
机器人数据还没有达到能充分发挥模型能力的规模,因此谭捷暂时看不到第二个更主要的瓶颈。需要什么数据也很难简单定义;他用“数据金字塔”描述从容易扩展到高度专用的不同层次。
金字塔底层是互联网上可获得的大规模数据,再往上是人类第一视角视频,例如戴相机做家务;随后是仿真数据,再上层则是特定机器人通过遥操作等方式采集的数据。越往上越贴近目标机器人,但采集成本更高。
预训练可以用大量宽泛数据学习物理直觉,不必一开始就掌握某种机器人构型或具体任务。金字塔顶端的训练则需要高质量、细致的数据,例如让特定夹爪学会打开瓶盖;即使数量不多,也能补上任务所需细节。
谭捷强调各层数据都重要:底层规模大、质量未必高,与真实机器人存在差距;顶层更精准,却难以大量获得。要让机器人基础模型变强,关键是结合不同来源,而不是只押一种数据。
Gemini Robotics 1.5 的思考与跨本体迁移
新模型将思考轨迹与动作序列结合,支持多步任务分解和更透明的人机交互。Motion transfer 则把不同机器人采集的数据组织起来,提升跨本体的任务泛化。
Gemini Robotics 1.5 的一个重要变化,是在 VLA 模型中加入 thinking trace。过去模型读图、读指令后直接输出电机角度;现在它还会写出自己如何理解任务、下一步准备做什么,再生成对应动作。
谭捷以按颜色整理衣服为例:机器人需要先辨认颜色,再判断每件衣服该放在哪一堆。模型先用文本拆解多步任务,执行部分动作后再继续推理,因此能把复杂目标变成连续的小步骤。
思考轨迹也让机器人能向人说明接下来要做什么、为什么这样做,提升交互透明度。谭捷认为,这对安全和信任都有帮助。另一项关键工作是跨本体迁移,尝试让不同机器人共享和利用彼此的数据。
机器人 A 收集的数据通常只能训练 A;即使摄像头位置改变或手臂自由度增加,旧数据也可能失效。不同形态的机器人更难直接共用数据,造成每一种机器人都要从头收集任务样本,数据瓶颈因此加剧。
团队在 ALOHA、工业级双臂机械臂和人形机器人等不同平台上汇集数据,并开发 motion transfer。谭捷用学开车作比方:一种机器人学会的任务,其他机器人也能借助这些数据获得能力。
他举例说,ALOHA 主要在桌面操作,从没见过垂直书架或高低不同的柜子;另一台机械臂则采集过从工作台垂直取物的动作。把两边数据放在一起训练后,ALOHA 也能把书架上的物品取下来。
跨本体并非只把数据混在一起就够了,模型架构和训练方法也要相应调整。谭捷说,团队称这一做法为 motion transfer;关于具体技术细节,他笑称是“独门秘诀”,不方便展开。
这项方法带来的是任务层面的泛化:一个机器人不必亲自见过某个任务,只要另一种有训练数据的机器人做过,它就可能学会。它并不意味着一个从未训练的新机器人可以直接零样本掌握所有任务。
张小珺问迁移能力的上限由什么决定。谭捷说,机器人之间的形态差异很重要:从单臂夹爪转到双臂人形机器人,比从夹爪转到相似夹爪困难得多;不同自由度和操作器会形成明显的 embodiment gap。
每种本体已有的数据量也会影响迁移收益。如果某种机器人已经拥有大量高质量数据,额外迁移带来的提升可能不大;但人形机器人难以收集数据时,借用其他平台积累的大量样本就很有价值。
谭捷把机器人称为 physical agent:它能决策,也能执行动作。Gemini Robotics 1.5 还强调工具使用,模型可以编程、查询网站或使用地图等数字工具,获得训练数据之外的知识。
例如机器人收到垃圾分类指令后,可以用地图确定所在城市,再查当地的分类规定,决定如何处理垃圾。通过网页搜索等工具,机器人能扩展自身知识和能力,不必只依赖模型内部已有的常识。
下一步最重要的方向仍是数据,尤其要减少昂贵的遥操作样本,转而增加更快获取的数据。谭捷提到仿真、YouTube 上的人类视频,甚至视频生成模型产生的样本,都可能成为训练来源。
这些数据现在仍需和真实机器人数据配合使用,成本也很高。谭捷认为,泛化能力首先取决于数据覆盖范围,而非数据究竟来自现实还是仿真;如果从未有过厨房做饭样本,模型就很难学会做饭。
机器人基础模型与大语言模型目前并非平行发展的两个学科。机器人研究更多是在已有多模态基础模型上加入动作输出和新数据,而不是从零预训练,因为训练所需的算力、时间和机器人数据都极其昂贵。
谭捷说,预训练好的大模型加上机器人数据微调,是目前更现实的范式。等机器人数据足够丰富、机器人模型遇到新的瓶颈,它才可能发展成相对独立的学科;现在大模型公司因此有明显资源优势。
张小珺提到真实数据采集需要大量昂贵硬件、轮班操作、维护、标注和质检。谭捷没有逐项核对具体金额,但认同遥操作的设备和运营成本很高,也认为最终完全依赖遥操作解决机器人问题的可能性很低。
传统仿真是在计算机中求解物理方程、模拟运动轨迹;随着视频生成发展,也有人把物理上看起来合理的生成视频称作新形式的仿真。谭捷预计,生成式模型未来可能逐步替代部分传统物理仿真。
视频生成仿真不一定更省算力,但能降低场景搭建成本。传统仿真要逐个建模卧室、家具和物品;生成模型只需换一组文字描述,就能迅速造出不同房间和物体组合,扩展训练环境。
谭捷曾以为视频生成要到 2030 年前后才可能应用,承认自己低估了发展速度。Sora 2 相比早期版本进步明显,数据和人才是驱动力;机器人研究者也期待视频生成成为新的仿真来源和世界模型基础。
可扩展数据、仿真与世界模型
遥操作数据昂贵,团队也在探索仿真、人类视频和生成数据。谭捷讨论物理仿真与视频生成仿真的差异,以及世界模型需要根据动作预测下一帧。
谭捷认为,未来机器人大模型需要尽量减少遥操作数据,增加更容易规模化获取的样本。除仿真外,人类第一视角视频和 YouTube 上的操作视频都可能提供学习素材;生成模型创造的视频也值得探索。
目前 Gemini Robotics 仍主要使用真实机器人数据,成本很高。张小珺提到行业有人更相信真实数据的泛化性,谭捷回应说真实数据虽没有仿真到现实的差距,但是否泛化仍要看样本覆盖了多少情况。
如果模型从来没有见过厨房做饭的数据,就很难期待它会做饭。谭捷因此把泛化归因于 coverage,而不是简单看数据来自现实还是虚拟;仿真数据能否覆盖丰富条件,是一项需要持续研究的问题。
机器人研究与语言模型研究范式不同。语言模型可以预训练海量文本,再做多模态、后训练和强化学习;机器人工作大多在预训练模型上加入动作输出与机器人样本,很少有人从头训练通用机器人基础模型。
从头预训练需要大量算力、数月时间,还要有足够的机器人数据,目前这些条件都很昂贵和稀缺。因此许多团队选择在既有模型上微调。谭捷认为,两类研究可以相互借鉴,但尚不是完全对应的独立学科。
张小珺转述了大量部署人形机器人采集数据的成本估算。谭捷没有逐项核算数字,但认同机器人本体、遥操人员、维护、运营和质检合起来非常昂贵,完全靠遥操作数据扩展并不现实。
谭捷很难想象机器人问题最终只靠遥操作解决。仿真可能提供更可扩展的方案,不过仿真一词的含义正在变化:传统上是计算机解物理方程,现在也有人把物理合理的视频生成视作一种新仿真。
过去要在物理仿真里创建数百个家庭场景,需要设计师逐个搭建房间和资产。生成视频只要改变提示词,就可以迅速得到不同床铺、家具和房间布局,因此生成式仿真可能大幅降低构造环境的门槛。
生成视频未必更便宜,因为模型本身很耗算力;它的潜在价值在于无需手工制作每个场景。谭捷也承认自己低估了视频生成速度,几年前还以为到 2030 年才会出现较实用的产品。
他认为视频生成的进步来自数据和人才,但自己不做该领域,无法解释训练数据细节。Sora 2 和 Veo 3 的一些变化没有令他特别惊艳,不过整体视频生成的快速发展让机器人研究者非常兴奋。
谭捷给“世界模型”下了一个操作性定义:输入前一帧和机器人的动作,模型要能预测下一帧。大多数视频生成模型还不能根据动作改变后续画面,因此他暂时不称它们为真正的世界模型。
可交互的 Genie 更接近世界模型,因为用户能通过按键改变下一帧,而不是观看一段固定生成的视频。谭捷认为,从目前的视频生成模型走向能响应动作的世界模型,距离似乎已经不远。
仿真误差可以尝试用算力和数据规模弥补。单个模拟场景不够真实,但如果持续改变物理参数、生成海量样本,训练过程或许能从数据平均效果中学到更贴近真实世界的规律。
生成式仿真的主要问题是幻觉和非物理现象,例如视频中的人做体操时身体结构会变化。谭捷说真实数据已被证明能随着数量增加直接改善模型,因此短期效果明显;但真实数据终究有限,可能出现上限。
仿真数据起步时会受到 sim-to-real 差距影响,加数据后提升不明显;若研究突破解决差距,理论上就没有同样的天花板。谭捷说自己相信的是可扩展数据,来源可以是物理仿真、人类视角视频和生成模型,而不只一种数据。
他也提到,大语言模型可能面临“吃进互联网、生成新文本、再把生成文本吃回去”的循环,用合成内容缓解数据不足。无论哪类数据,质量都重要;机器人领域还没有标准化评估,研究者常靠人工判断动作是否平滑、是否有效。
数据质量缺少统一定义,也让数据工厂和模型团队容易互相归责:效果不好,模型团队说数据采得差,数据供应商则说训练没做好。谭捷认为这是尚待解决的科学问题,模型架构创新重要,但数据量和覆盖不足会限制算法。
谭捷用自身研究经历说明短期有效的折中方法未必是最终方向。他曾试图把传统控制与强化学习结合,快速取得效果;但后来主流转向端到端强化学习,说明长期投入统一模型可能比局部捷径更有潜力。
统一架构、视觉与触觉
他解释端到端模型、分层结构和世界模型的关系,也回顾强化学习的演进。对于灵巧操作,视觉在假爪机器人上很有用,触觉则会随着硬件能力提升变得必要。
如今 Google 的机器人研究也在大量投入端到端统一模型,同时保留 ER 与 VLA 交互的短期原型。VLA 已是当前有效架构,但语言描述复杂动作会丢失细节;世界模型用视觉预测下一帧,可能提供更自然的动作表达。
谭捷认为世界模型不一定取代 VLA,两者可能共存:视觉和语言输入后,先预测后续画面,再由模型生成动作。研究者过去一年逐渐收敛了动作 token、动作专家和扩散等设计,但架构仍需要大量探索。
张小珺问具身智能中的“智”指什么。谭捷说既包括大脑层面的常识、解决问题与规划,也包括小脑层面的灵巧操作、跑跳和平衡;机器人智能不能只看会不会思考,也要看能否可靠地行动。
机器人还可能需要更多感官。谭捷原以为触觉非常关键,后来看到 ALOHA 只靠视觉也能从包里取出信用卡等薄物件,一度认为视觉也许能解决绝大多数任务。
他后来遥操作带灵巧手的机器人剪剪刀,发现没有触觉反馈时,无法判断什么时候开合手指,剪刀的环很大,手指在里面移动却不一定带动剪刀。这个经历让他意识到,灵巧操作离不开触觉。
夹爪时代,视觉能处理大部分简单任务;当机器人有五指灵巧手、需要复杂接触时,触觉会变得必不可少。传感器需求也会随硬件和任务进步而变化,过去显得不重要的模态,未来可能成为关键能力。
谭捷不认同“机器人只靠观看 YouTube 就能完成一切”的推论。视频学习技能与只用视觉解决问题是两回事;人形机器人要执行复杂操作,与真实物体反复接触时,触觉和其他反馈仍很重要。
如果只能押一种机器人形态,谭捷会选人形,因为它可能适应多种人类环境;若只选一种架构,他更看好端到端。但他也强调,具体选择取决于目标、公司资源和商业压力,研究理想与创业落地可以走不同路径。
研究者可以专注于物理世界中的通用智能,创业公司却往往要先解决能落地的垂直任务,形成数据飞轮。谭捷用 Waymo 与特斯拉作比:一方追求完整无人驾驶,一方从已有车辆和逐步增强能力开始,两条路都可能走通。
通用机器人与创业落地路径
通用机器人与垂直场景可以并行探索,创业公司需要通过短期落地积累数据飞轮。谭捷也回顾自己从强化学习转向机器人基础模型的原因。
在假爪机器人上,谭捷认为视觉仍能解决大约 95% 的任务,但这是针对当前硬件而言。视频可以帮助模型学习操作过程,却不等于仅靠视觉就能解决所有物理问题,这两种主张不能混为一谈。
自动驾驶选择纯视觉路线已有实践,但机器人操作的物体和接触方式复杂得多。通用人形机器人要像人一样使用灵巧手时,触觉很可能必不可少;硬件形态也可能不断改变,因此跨本体能力十分重要。
若只押一种形态,谭捷仍会押人形机器人,因为它能适配人类生活环境,但他不认为这会是唯一形态。研究最终目标与现实产品路径不同,创业公司还要考虑资本预期、短期落地和生存。
谭捷说自己想解决物理世界中的通用智能,愿意聚焦于最终模型;创业公司则可能先做可盈利的垂直产品,转动数据飞轮,再逐步扩大能力。两种路径没有对错,可以沿不同节奏走向相近目标。
他用 Waymo 和特斯拉比较自动驾驶路线:Waymo 从一开始就追求在限定区域拿掉驾驶员,特斯拉则先卖车、逐步升级辅助驾驶并积累数据。Waymo 已实现真正无人运营,这也是一个从零到一的突破。
机器人步态领域在强化学习普及后很快变得拥挤。过去需要博士掌握复杂控制方程,如今高中生也能把 PPO、仿真环境和训练流程组合起来;技术越容易使用,越快会吸引大量团队进入。
谭捷说强化学习迅速解决了许多 locomotion 问题,自己因此在 2021、2022 年左右转向机器人基础模型,寻找更难、尚未普及的挑战。他把个人研究转向看作技术成熟后主动离开拥挤领域。
Google 的 SayCan 让模型用常识分解任务,RT-1 用 Transformer 吸收机器人数据,RT-2 把互联网知识与动作数据结合。之后 Gemini Robotics 得到强大的 Gemini 基础模型支持,使机器人微调更省力、泛化也更好。
谭捷认为,已有基础模型的视觉编码器见过大量互联网图像,因此视觉泛化能力有时几乎“免费”获得。若从头训练或使用较弱的开源模型,机器人团队对预训练模型价值的判断会完全不同。
张小珺问谭捷为什么在大公司工作多年、未来是否创业。他说年轻时创业很锻炼人,但要在物理世界里解决 AGI,需要算力、数据和人才;目前大型研究机构能提供这些关键资源。
大公司资源与研究团队演进
谭捷解释为什么在大公司做机器人研究有资源优势,并回顾 Google 团队从十人发展到百余人的变化。大型项目需要集中协作,自下而上的小团队也为创新提供空间。
谭捷珍惜早期创业经历,但现在觉得大公司是很好的选择:大模型研究需要资源和算力,也需要聚集有使命感、能力强的人。在 AI 竞争加速后,学校研究者也需要更多算力和团队资源。
他加入 Google Brain 时,机器人团队只有十人左右,研究者各自选择方向,拥有很大自由。现在 Google DeepMind 机器人团队约有一百五十人,随着规模扩大,研究组织和目标都发生了变化。
早期每位研究者都能独当一面,工作像一位待遇优厚、拥有自主权的博士生;但个人影响有限,很难聚集很多人做一件大事。Google 后来希望团队共同聚焦重大问题,而不是只运营昂贵的学术实验室。
Gemini Robotics 的作者名单从首版约一百二十人增加到后续一百六十至一百八十人,反映项目依赖的协作规模。基础设施、训练流水线、研究、评测、数据采集和设备维护都需要不同团队配合。
谭捷认为大项目需要自上而下确定方向和时间表,因为算力和实验资源有限;同时也要有自下而上的小团队,快速尝试新方法,失败就及时调整,成功后再整合进更大的系统。
Motion transfer 就是多团队合作的例子:目标由上而下确定为解决数据瓶颈,具体实现方式由不同小组探索。多种有效的方法可以像积木一样组合,最终共同构成一个完整方案。
谭捷把规模称为必要条件,却不是充分条件。没有算力、数据和人力,研究很难有突破;但如果只堆资源、不做足够聪明的创新,也不会自动产生奇迹。
谈到工作强度,谭捷说自己一周可能工作七十到八十小时,AI 研究竞争激烈,硅谷团队也很拼。接下来张小珺把话题转向 Google 的研究文化和大公司的流程问题。
研究文化、人才与组织管理
团队需要在研究自由和迭代速度之间取得平衡。谭捷谈到大公司的流程、研究员绩效评估、AI 人才价格变化,以及吸引和留住人才的使命感。
谭捷承认大公司病仍然存在:决策层级多,法务、合规、采购等流程可能拖慢实验。他负责提升团队研究迭代速度,研究者等几周拿不到数据,或者等三十多个工作日才买到机器人,都可能错过机会。
Google 对机器人研究的重视,让团队争取到一些特别流程,加快采购、实验和数据使用。谭捷认为,流程并不会完全消失,但在高度竞争的领域,团队有时能让公司为研究速度作出调整。
研究员绩效最重要的是影响力。过去论文数量、质量和引用是重要指标;如果研究成果进入产品,并为产品创造价值,也会成为衡量影响的标准。不同贡献需要综合评价,而不只是看论文篇数。
Google 的绩效评估严格,但与直接按比例淘汰的做法不同,表现未达标者会进入改进计划,由经理帮助其达到要求。谭捷觉得这种方式更有耐心,也承认每个人的优先事项与生活状况都不同。
Meta 大举招聘 AI 人才,推动硅谷薪酬上涨。谭捷列出几种解释:AI-first 公司需求大而顶尖人才供应有限;人才若能有效使用昂贵算力,创造价值可能远超薪酬;直接挖人也可能比收购团队便宜。
他不确定个别天价薪酬是否合理,但 Meta 的动作确实扰动了整个市场。对管理者来说,留人不能只看单个报价,还要考虑团队内部公平;如果只给某个人异常高的薪水,可能影响整个团队。
谭捷发现优秀研究者看重的未必只是钱,也在意是否能参与机器人领域的重大变化。他会和成员讨论哪家公司拥有更多资源、算力、支持和人才,因为有使命感的人希望坐在能推动变革的位置上。
Meta 可能希望用挖人迅速把 AI 团队推进第一梯队,因为从头培养大模型团队很难。谭捷说人才流动有成功也有失败,但他更常能留住成员,理由是团队仍有机会推动机器人研究的重大突破。
谈到华人研究者,谭捷说自己九年前加入 Google Brain 时几乎是唯一的华人,如今团队中华人约占一半以上。AI 和机器人融合后,数学背景、学习能力与努力投入,帮助不少华人研究者快速取得成果。
张小珺问华人在科技大公司的管理层是否会增加。谭捷认为有迹象,华人正在适应西方协作方式;印度裔管理者在英语表达和公开表达观点上有优势,而中国传统教育较少训练这些能力。
谭捷仍看好华人在 AI 领域走向更重要的位置,认为许多人既有技术能力,也在学习不同文化的规则。他讲起一位美国博士希望团队多招华人,还把“牛马”理解成勤奋的称号,听来让人忍俊不禁。
机器人未来与中美合作
他预测机器人可能先在制造、物流等行业扩展,再逐步进入家庭,并讨论中国硬件供应链、硅谷长期投入和两地合作。通用模型能否形成数据飞轮,取决于设备是否真正有用。
谭捷预计,未来两三年会出现一个让公众意识到“通用机器人要来了”的 GPT 时刻;五年内机器人可能更快进入制造、物流和超市等产业;真正广泛进入家庭,可能要到十年左右。
他认为机器人有智力并不意味着它就是人。按现在的技术路线,模型更多是从大数据里拟合统计规律;机器人是否有意识、意识从何时出现,是尚无确定答案的哲学问题。
谭捷这次回国感到中国生活便利、城市变化快,上海的新商圈和文化活动让他觉得生活比硅谷丰富。长期在海外工作,使他每隔几年回来都能明显感受到城市和服务方式的变化。
谈中美机器人差异,谭捷认为中国硬件发展很快,供应链能提供价格合理、质量不错的机器人本体;AI 研究也在进步。但硅谷和中国的投资文化不同,硅谷更愿意为尚未证明的长期目标持续投入。
大模型和机器人研究需要大规模数据才能检验 scaling,几十小时或几百小时可能不足以看出趋势。谭捷听说国内投资人常先给少量资金,希望迅速看到结果;他认为这与技术探索所需的长期承诺之间存在张力。
他用马斯克作为例子:很多人起初不相信雄心很大的目标,但坚持投入后,硅谷形成了愿意为长期愿景下注的文化。谭捷认为技术研究有时需要这种信念,不过规模投入也不能替代创新。
如果不考虑地缘政治,谭捷希望中美在机器人上合作:美国在智能研究上可能更快,中国在硬件供应链、制造和本体方面实力强。若两边能协作,对整个机器人行业乃至人类都可能是重要进展。
他提醒,中国机器人硬件虽能采数据,但设备若还没有达到真正有用的门槛,数据飞轮就转不起来。特斯拉的车本身有使用价值,才能不断带来真实驾驶数据;柔性衣物整理、餐巾折叠等任务则是 AI 可能创造价值的垂直场景。
通用能力、安全与真实进展
谭捷划分机器人从自动化、遥操作到通用智能的阶段,并提醒安全研究要同步推进。他同时承认能力提升很快,但演示并不能代表日常可靠性,家庭应用仍需等待。
谭捷说,真正成熟的通用机器人可能覆盖许多专用机器人的任务,甚至理论上能替代自动驾驶专用能力;但这不代表专用产品没有价值。通用模型如果一台设备能做百种任务,专业模型就要面对新的竞争。
他估计两三年内可能有明显突破,不到十年或许能看到通用机器人真正落地,但它能通用到什么程度仍不确定。机器人发展可分阶段:固定规则的自动化、硬件成熟但由人遥操作,再到能够处理窄领域任务的智能系统。
窄领域通用机器人已经能像自动驾驶那样在限定任务中自主工作;再往后才是能承担家庭多种任务、接近人类能力的通用机器人。最终阶段甚至可能因存储、能量密度和强化学习而在某些方面超越人类。
张小珺问是否需要担心安全,谭捷回答需要。若 AI 或机器人能自我迭代,潜在后果可能严重;Google 的责任与安全委员会会评估模型对社会的影响,团队也开展机器人安全与 AI 安全研究。
谭捷认为,如果机器人能力超出人们对安全的理解,最坏情况下应暂停能力发展,让安全研究追上后再共同推进。安全不是发布前的一次检查,而要在技术每个发展阶段持续研究。
他回忆一年前团队做圣诞演示时,机器人连抓袜子、往里面放礼物都做不到;一年后,它却能尝试陌生设备上的按钮、插头和滑块任务。一个研究员给了二十五个训练数据里没有的任务,机器人完成了十个。
谭捷说机器人没有完美完成全部任务,但半年前连这种泛化都难以想象。他也同意,目前能真正干活的人形机器人仍很少。工作之外,他喜欢旅行、种花、练赛车和弹钢琴,家里还有两个年龄差距很大的孩子。
谭捷说带孩子和训练机器人有相似之处:孩子通过探索得到奖励,也会模仿父母和同伴。机器人像两岁孩子一样逐渐发展视觉、抓取和行走能力,但机器人学会灵巧操作比学会行走困难得多。
人类从视觉、触觉和听觉持续获得数据,大脑存储并提炼经验;谭捷觉得这与机器学习有相似之处。若只看行走能力,机器人运动员可能已经超过很多普通人,但使用夹爪完成简单任务仍像两三岁孩子。
机器人能力发展并不均衡:强化学习在过去几年基本解决了不少步态控制问题,手部控制和灵巧操作却没有找到同样成熟的办法。若换成五指灵巧手,许多任务甚至还谈不上可靠可用。
谈人与机器人的区别,谭捷说意识问题仍没有答案;目前机器学习更像从大数据中找到统计规律。他提醒观众不要把演示视频当成普遍能力,因为公开视频往往只展示反复尝试中最成功的一次。
机器人行业可能出现泡沫,取决于能力提升速度和是否找到真实落地场景。谭捷认为,近两年确实开始出现一些可能的应用方向,但人形机器人广泛进入家庭仍很遥远,应该保持兴奋也保持冷静。
机器人是多个复杂学科和问题叠加而成的,不会因为一个技术突破就突然完全可用。谭捷认为当前最紧迫的基础问题仍是如何获取高质量数据;大家不应高估现阶段能力,也要给落地留出时间。
机器人瓶颈与快问快答
机器人由多个尚未解决的问题叠加而成,获取高质量数据是当前的紧迫难题。最后谭捷分享对行业时间线、阅读、重要论文和合成数据的判断。
快问快答中,谭捷说自己喜欢吃很多东西,推荐硅谷附近的云南餐厅 Pink's Bistro,也选上海作为喜欢的地方。他推荐《Start with Why》,说这本书改变了自己的沟通方式;另一本文名一时记不清,是《高效能人士的七个习惯》。
他认为自己的第一篇 Sim-to-Real 四足机器人论文,以及 RT-1、RT-2、RTX 和 Gemini Robotics 系列,都是影响机器人发展的重要研究。谈到重要押注,他选择相信合成数据,因为只靠真实数据无法解决机器人问题。
谭捷认为,合成数据能让机器人训练规模继续扩大,仿真与生成数据的价值值得长期投入。张小珺随后感谢听众收听《商业访谈录》,邀请大家关注工作室公众号,节目结束。
同じチャンネルの記事
46:26ZH
1:32:16ZH
34:07EN
2:49:35ZH
1:27:02ZH
1:14:56ZH