NVIDIA 研究副总裁 Ming-Yu Liu 谈 Cosmos、Physical AI 与开拓新市场

主持人张小珺向听众问好，介绍嘉宾是 NVIDIA 研究副总裁刘洺堉，并说明两人在上海录制访谈，时间距黄仁勋最近一次访华约一个月。

访谈开场介绍了刘洺堉低调的风格，以及他在 NVIDIA 的特别之处：一位成长为工程型领导者的研究员。黄仁勋称他是“GSD”（说干就干的人）；刘刚带队发布了 Cosmos 3。

张小珺把话题引向刘洺堉在大型基础设施公司里的二十年研究历程。刘说，打造模型需要放低自我，行业竞争也不该演变成《鱿鱼游戏》。

刘认为，研究的繁荣应看思想在人与人之间流动得有多快。一次交流能完善一个想法，另一个人又能继续推进；多元视角会让成果更扎实。

刘回忆，团队完成 Cosmos 1 后曾问黄仁勋要不要继续做下去。黄仁勋让他们一直做到 Cosmos 97；这个漫长目标体现了公司打造基础技术的决心。

刘说，黄仁勋的意思不是催他们加速，而是稳住节奏。黄仁勋擅长打持久战；团队先就 Cosmos 的必要性达成共识，再逐步明确负责人和执行方式。

主持人向刘洺堉问好，并问他在 NVIDIA 是否还常说中文。刘说团队大多用英语沟通，因为很多同事不会说中文；小组成员都会中文时，大家就自然改说中文。

刘每年会来中国两三次，因为当地的 Physical AI 发展很快。他会和公司及研究人员交流，了解大家的进展，以及 NVIDIA 可以怎样提供帮助。

这次来访时，刘看到灵巧手等 Physical AI 关键能力进步很快。他说每次来中国都会学到新东西，也能感受到领域发展的速度。

谈到自己的职位，刘说他既是 NVIDIA 研究副总裁，也是 Cosmos Lab 的负责人。直接向他汇报的研究员和工程师约有 80 到 90 人。

Cosmos 项目还包括通过虚线协作的其他团队，整体规模约 200 到 300 人。即使这些成员向不同负责人汇报，刘仍负责整个项目的使命和方向。

刘回忆，十年前的求职演讲中，他就预测深度学习最终会主导视频生成，取代传统图形学。当时影视特效主要靠图形管线制作，但他相信数据驱动的方法能做到手工搭建的管线做不到的事。

他设想把一部小说交给系统，直接生成一部电影，并自动完成过去需要大团队操控的细节。加入 NVIDIA 后，他通过 GAN 研究继续追寻这个目标，也开始探索无需成对样本的图像转换。

刘介绍了早期的无配对图像转换：模型可以在马和斑马等不同领域之间映射，不必先收集同一场景在两种风格下的对应图像。

当时 NVIDIA 还不以 AI 公司著称。刘早期的应用研究帮助公司建立了这方面的能力；GauGAN 让用户画出粗略的语义区域，再把它们变成逼真的风景，展示 NVIDIA 不只会造 GPU，也能做 AI 模型。

刘说，他和同事一起研究 StyleGAN，推动 NVIDIA 在媒体生成领域崭露头角。

2019 至 2020 年间，刘升任研究总监，并与合作者创立 Deep Imagination Research。团队继续朝他在求职演讲中提出的愿景迈进：输入一部小说，生成一部电影。

疫情期间，刘的团队还帮黄仁勋制作过数字人主题演讲演示。他说数字人等应用当时发展迅速，但“小说生成电影”仍显得遥远。

刘原以为“小说生成电影”要等很久才可能实现。团队忙着做数字人和其他演示，直到 OpenAI 发布 DALL·E，他才意识到自己低估了当时已有的算力和数据条件。

刘给黄仁勋写信，指出客户仍用 GPU 做传统图形生成，而 NVIDIA 不能在深度学习图像生成上落后。他也联系 Getty Images，提议由对方提供数据、NVIDIA 提供算力。

双方后来合作成立 Picasso，为有内容和客户、却缺少 AI 人才与基础设施的媒体公司打造生成式模型，再交还给合作方服务自家客户。

刘说，自己的工作从产出模型和论文，逐渐转向交付能帮助客户成功的产品。他曾向黄仁勋申请 1,000 张 A100 GPU；在 Ampere 时代这是个很大的数字，团队还得解决如何高效连接和训练的问题。

作为早期从事生成式 AI 的计算机视觉研究员，刘与许多优秀实习生共事，包括 Yu Jiahui 和 Tim Brooks。Brooks 当时就想做视频生成，后来走向 Sora；不过他实习时技术还不成熟。

看到 Brooks 在 OpenAI 做出 Sora，刘既为他高兴，也反思自己当初是否没有足够果断地把握时机。后来几位研究员联名写信给黄仁勋，主张 NVIDIA 加大投入。

Cosmos 由此启动。刘、Sanja Fidler、Bryan Catanzaro 和 Jim Fan 认为世界模型对 NVIDIA 和人类都很重要。黄仁勋请刘和 Fidler 共同负责这个项目，后来还亲自定下 Cosmos 这个名字。

刘当时同时负责 Picasso 和 Cosmos，后来发现自己无法兼顾两个大型项目。他逐步收尾 Picasso，帮合作方找到其他技术支持，并把全部精力转向 Cosmos。

Cosmos 从 1 迭代到 2、再到 3，越来越多客户和 NVIDIA 内部团队开始依赖它。刘说项目发展到不能失败的阶段，需要投入更多资源。

年初，刘离开 NVIDIA Research，改向软件高级副总裁 Dwight 汇报。Deep Imagination 也更名为 Cosmos Lab，团队从探索性研究组转向核心产品与平台团队。

刘说，看到昔日同事做出 Sora，他感到高兴而非嫉妒。这项成果展示了研究的影响力，也让他反思自己在哪些判断上错过了时机。

被问到 OpenAI 后来为何关闭 Sora 产品线时，刘认为这可能是压力下的战略取舍。Coding Agent 能连续运行很多小时、产生远多于短对话的 token，而 Anthropic 的编码产品带来了可观回报。

他用《孙子兵法》“处处设防，处处薄弱”来解释这种取舍。OpenAI 可能判断编码更重要，于是把资源转向那里，并非认为 Sora 的研究没有价值。

刘说，NVIDIA 是基础设施公司，但不能只靠卖 token 或 GPU 来设计有用的基础设施。公司必须自己走一遍应用开发者可能走的路，参与一部分应用工作，才能理解他们真正需要什么。

芯片和计算机架构的开发周期很长，NVIDIA 必须提前研究新兴应用，不能等硬件要改时才开始。研究能帮助公司判断哪些问题值得解决，并为 AI 客户设计更好的芯片和基础设施。

刘希望有抱负、有想法的人都能获得实现目标的工具。NVIDIA 会开发并分享模型，让创业公司和研究人员据此开发应用、扩展模型，或从中获得灵感，做出更好的成果。

公司的开源模型不是可以直接交付客户的完整解决方案。要真正投入生产，尤其是机器人领域，仍有大量硬件和商业问题要解决。刘认为，这些模型至少表明 NVIDIA 会持续支持这个领域。

NVIDIA 持续发布新一代模型，让开发者更有信心投入自己的专业问题。每家公司资源都有限；有可靠的基础模型，合作伙伴就能把精力放在真正能体现自身特色的部分。

刘不认为这会与客户竞争。Physical AI 有许多难题，NVIDIA 可以开发模型，替开发者分担一部分工作。

被问到为何不去做最热门的大语言模型时，刘说自己的背景在计算机视觉和媒体。NVIDIA 已有实力很强的语言模型团队，他想做更能发挥自身经验的方向。

刘把这一选择与 NVIDIA 聚焦 Physical AI 联系起来，而非继续做内容创作。他看到数字创作工具进展飞快，但社会仍需要能改善出行、承担危险工作和处理家务的实体系统。

自动驾驶可以让年长者继续保持出行能力，机器人可以承担危险劳动，家用机器人也能处理杂务。刘认为，这些现实需求让 Physical AI 比内容生成更值得 Cosmos 投入。

刘说，黄仁勋对 Cosmos 团队要求很高，第一条就是帮助客户。NVIDIA 主要提供基础设施，并不通常直接交付完整的机器人解决方案。

刘说，NVIDIA 不是解决方案公司，因此有时像是“隔着靴子挠痒”。团队必须走近客户，弄清他们真正的痛点，才能设计出有用的模型。

黄仁勋也要求团队创造巨大影响。他看重“零十亿美元业务”：起初可能不赚钱，但成功后能发展成很有影响力的大市场。

刘说，团队必须挑最重要的问题，并努力做到最好。这很难，但他认为 Physical AI 的市场足够大，值得全力投入。

刘在台北长大，最初在国立交通大学学习无线通信。青少年时期，他对手机很感兴趣，后来开始思考，持续改进通信协议是不是自己真正想做的研究。

大三时，刘开始了解美国的研究生项目，被那些可能带来从零到一改变的研究吸引。他决定赴美深造，这个决定让父母很意外。

刘最初想研究量子通信。赴美之前，他在 Intel 台湾实习，第一次接触图像识别和计算机视觉。

大三时，刘看到美国高校的研究有机会实现从零到一的突破，便决定出国试试。他告诉父母要去美国时，父母很惊讶；他当时打算研究量子通信。

在 Intel 台湾实习时，刘第一次接触图像识别。看到计算机从像素中判断画面里有哪些物体，他觉得像魔法一样，也由此真正认识了 AI 和计算机视觉。

进入马里兰大学后，刘发现计算机视觉比量子通信更有意思，于是加入 Rama Chellappa 的实验室。第一个项目是通过视频中的步态识别人物，之后他逐渐研究识别、分割、形状匹配等问题。

传统计算机视觉要求研究人员掌握很多工具：优化、支持向量机、图模型、能量最小化和三维标定等。刘说当时很多方法都不奏效，逼着大家不断学习新技术。

刘博士毕业前后，AlexNet 的出现改变了整个领域。他在美国第一份工作加入 Mitsubishi Electric Research Labs，亲眼看到深度学习开始取代自己多年研究的传统方法。

刘没有因此感到迷茫，反而对新技术很感兴趣。博士最后一年，他还组织年轻同事一起学习深度学习，尽管有人觉得这个方向太冷门，不值得投入。

刘的导师一直把生成视为理解的一部分。刘因此对生成模型产生兴趣；看到 Ian Goodfellow 在 NeurIPS 展示 GAN 研究后，他开始大量投入这一方向。

判别模型可以判断一个对象属于 A 还是 B，生成模型还能够重建并描述信号。刘认为，模型能表达事物如何形成，说明它理解得更深入。

读博期间，刘也在 Intel 做过工程师。他体会到，在大型软件栈里排查问题需要极大耐心。他说研究要先提出正确的问题，工程则负责搭建系统来验证答案。

刘认为研究和工程各有不同职责：研究要找到正确的问题，工程则要搭出系统来证明答案。他在大型软件系统里工作时学会了这一区别。

刘进入 AI 并非从小就有计划。他很早便觉得计算机视觉很重要，即使当时还不完全懂；重现类似人类的智能，也自然让人思考人是什么、与其他生物有何不同。

刘回忆自己早年喜欢优雅的数学。计算机视觉大量依赖优化算法，但研究者很难证明自己找到了真正的最优解，通常只能估计答案离最优值有多远。

为了让证明更容易处理，研究人员常加入简化数学的假设，却因此让模型远离现实。刘说自己早期过分追求数学上的漂亮，后来才意识到 AI 是应用科学，必须贴近问题本身。

刘总结了职业生涯中的三点经验：理论要贴近真实应用；好的成果需要讲清价值，让别人看见它的意义；大型研究项目则依赖沟通与团队协作。

刘开玩笑说，有些研究成果他觉得值 100 分，但自己的讲解只传达出了 10 分。在 NVIDIA，他学会了不只展示做出了什么，还要说清楚为什么重要、具体如何实现。

团队规模扩大后，人与人之间的点对点沟通会迅速膨胀，每个人都得和许多同事交流。刘学会把目标和项目意义讲清楚，让所有参与者理解同一个问题，朝同一方向推进。

刘和合作者把 SPADE 方法做成面向公众的绘画演示。黄仁勋觉得技术名太生硬，不够直观，于是团队开始寻找用户一听就懂的名字。

GauGAN 演示让用户涂几块颜色，就能生成逼真的风景。算法原名叫 SPADE，但黄仁勋认为这个名字过于技术化，不适合面向用户。

团队原本计划在 2019 年 GTC 上展示 GauGAN，但演示没能进入主题演讲。媒体演示和公开网页应用仍把项目带给了广大观众。

团队把演示改名为 GauGAN，结合了画家 Gauguin 和 GAN 的时代特征。黄仁勋本想在 2019 年 GTC 上发布它，但主题演讲时间不够；媒体演示还是让它成了活动中最受关注的项目之一。

公开网页应用让用户能亲自体验模型，反馈也让刘很有成就感。他意识到研究的影响力可以远超阅读论文的研究同行，触及更多人。

刘回顾了自己的 GAN 研究：从把两个生成器连接起来、形成信息瓶颈的 CoupledGAN，到马与斑马之间的图像转换。信息瓶颈促使模型寻找两种数据分布的共同结构。

生成模型可以合成图像、风景和视频，但用户还希望控制生成结果。刘介绍了控制方式的演进：从输入图像和草图，到分割图与类别标签，再到文生图和文生视频。

刘说，最容易使用的控制信号是图像、草图或分割图。这些结构化输入便于引导生成，之后团队才尝试用自然语言提示控制图像。

分割图提供精确的像素级结构，文本和图像的表达形式却差异很大。文本对人更自然，但模型更难把它与视觉结构对齐，因此刘先从较容易的控制方式逐步推进到文本。

刘和同事早在 2016 或 2017 年就预测，语言可能最先迎来 AI 的重大突破：文本是相对纯粹的符号信号，图像则包含更多噪声。尽管如此，他仍留在自己感兴趣的视觉生成领域。

在 NVIDIA，团队从图像转换转向视频转换。vid2vid 把驾驶模拟器中简单、卡通化的画面变成真实场景，成为今天世界模型研究的早期一步。

刘认为早期视频转换研究与今天的世界模型一脉相承。团队把驾驶模拟器的简单图像变成逼真场景，将视觉生成和物理环境模拟联系起来。

刘说，研究者应优先选择简单、可扩展的方法，这后来被称为“苦涩的教训”。GAN 很难训练，于是他和实习生 Jiahui Yu、Jeremy Bernstein 尝试用大型 GPU 集群和新算法提升规模与稳定性。

这些实验没有解决 GAN 的可扩展性问题，却影响了后续工作。Bernstein 沿着优化器研究继续探索，后来发展到 Muon；Yu 则研究如何把判别器分布到多张 GPU 上。

刘和实习生 Jiahui Yu、Jeremy Bernstein 尝试让 GAN 在大规模训练时保持稳定。他们研究了更大的 GPU 集群，以及如何把判别器计算分布到不同设备。

这些 GAN 实验没能找到可扩展的配方，但刘说它们为后来的研究积累了经验。团队吸收教训，转向更能从规模增长中受益的方法。

多年尝试后，刘认为 GAN 不够可扩展，约在 2021 年带队转向扩散模型。此后研究从图像扩展到多视角生成、3D、视频和 Transformer 系统。

刘说，范式变化有时会让人觉得过去的工作白做了，但每个阶段都帮助团队找到更简单的世界解释。Cosmos 3 把此前分散的模型统一起来，也是多年投入后的结果。

刘认为研究成果在人与人之间流动得越快，研究就越有活力。在工业界，实习生能把不同背景和新想法带进团队，拓宽资深研究者的视野。

与在大学任教相比，刘在产业界的交流圈更窄，需要主动拓展。NVIDIA 的实习生带来不同背景和新想法，资深研究者和学生都能从中受益。

刘在 Mitsubishi Electric Research Labs 工作几年后，于 2016 年加入 NVIDIA。他逐渐认定深度学习离不开算力，而 Mitsubishi 更重视算法，他常常得争取 GPU 预算。

一位导师离开 Mitsubishi 去了 Apple 后，刘也重新考虑自己的选择。NVIDIA 正好生产他一直想申请的 GPU；虽然父母几乎没听说过这家公司，更希望他去知名科技企业，他还是选择加入。

刘相信算力和数据是无监督学习最关键的资源，因为这类方法不需要标注样本。他的前经理后来承认，刘每次争取到 GPU，自己也会买 NVIDIA 股票。

一些看似由 Mitsubishi 和 NVIDIA 联合完成的论文，其实是在一家公司开始研究、到另一家公司后修改并发表。刘说自己加入 NVIDIA 是正常求职，并非之前合作的结果。

刘刚入职时，NVIDIA Research 不到一百人，主要做图形学。在 Monterey 的一次团队活动上，他认识了后来主导 StyleGAN 的研究者，也见识到他们对实验细节的极致关注。

刘回忆，自己加入时 NVIDIA Research 规模还很小，许多研究员做的是图形学。他认识了后来开发 StyleGAN 的团队成员，并从他们严谨的实验习惯中学到很多。

刘说，研究人员想获得公司资源，就得理解公司的优先事项，并讲清楚自己的工作会产生什么影响。研究者常觉得自己的问题最重要，公司还要考虑客户和股东。

刘从黄仁勋那里学到，公司成功关系到员工家庭的生活。即使管理者不熟悉 AI，研究人员也要解释清楚研究如何带来真正的改变、推动业务发展。

刘说，公司研究除了科学好奇心，也要考虑客户和股东。研究人员必须说明自己的工作如何回应公司的优先事项。

刘在 Mitsubishi 的经历让他明白这一点。实验室曾支持雄心勃勃的基础研究，后来管理层质疑这些研究的影响，许多知名研究人员被裁撤，或转去大学和其他公司。

留下来的研究更贴近 Mitsubishi 在相机和机器人领域的业务。刘由此认识到，前沿探索可以和公司目标结合，但研究者必须把这层联系讲清楚。

公司扩张时，可能容得下更多探索；经济下行时，管理层就会追问投资价值。深度学习成本很高，研究人员更要解释清楚工作的意义。

刘有意把研究转化为产品，但他说 AI 本身并不能改变一切。模型能力逐渐趋同后，公司需要把模型与产品、平台及客户反馈结合起来。

刘从 Mitsubishi 的研究实验室学到，基础研究必须与业务建立清晰联系。经济低迷时，管理者会追问昂贵的研究投入为何值得，以及哪些问题最该优先解决。

刘认为，Google 的优势部分来自 Gemini 与 Search、Docs 等服务的结合。用户越多，反馈就越丰富，产品也越好用，公司因此更有理由持续投入。

早期研究者常以方法能否超过基准成绩来衡量成功，这容易滋生自我膨胀的竞争心态。刘现在更在意自己能做些什么，推动整个领域进步。

刘说，许多实习生都比自己优秀，他觉得这很好。他的目标是做出有用的贡献，而不是证明自己高人一等。

刘认为，顶尖实验室之间的人才与想法会不断流动，所以没有一家公司能永远大幅领先。模型能力趋同后，大公司可以把模型整合进更广泛的产品。

刘预计前沿实验室会继续推动智能发展，但不认为一家企业能永久领先很多。人才和想法会在组织间流动，竞争者也会互相学习。

如果模型能力逐渐趋同，大公司会通过生态整合展开竞争。创业公司则可以解决巨头顾不上、规模较小的问题，满足被忽视的需求，并逐渐开拓重要市场。

创业公司不该照搬 OpenAI 或 Anthropic 的模式，因为它们的资金、客户和规模都难以匹敌。新公司需要找到自己的问题，并相信有限资源能在哪些地方发挥作用。

创业公司可以从大公司觉得太小、不值得优先处理的问题中找到机会。刘建议新公司瞄准独特需求，而不是试图复制最大的前沿实验室。

刘建议创业者把精力放在自身资源和信念真正能发挥作用的方向。NVIDIA 当年也是靠追求不同的机会成长起来，而不是模仿更大的竞争对手。

刘说，自己升任副总裁，是因为他帮助 NVIDIA 理解 AI 的重要性，并持续交付有用成果。他认为，研究真正落地，才会逐步赢得信任。

刘说自己可能是 NVIDIA 历史上第一位从研究员升任副总裁的人。早年他几乎每年升一级，因为他帮助公司提高 AI 领域的影响力、解释技术意义，也能把工作落到实处。

领导 Cosmos 意味着管理数百人的团队，以及数百万美元的算力和存储成本。刘相信公司把项目交给他，是因为他逐步赢得了信任。

研究人员对认可的追求有时会与管理者职责冲突。刘仍然读论文、看代码，避免脱离核心问题，也借此了解团队成员各自做出了什么贡献。

保持技术上的参与感，能帮助刘支持团队并判断方向。他不想成为最强的实现者，而是希望掌握足够背景，看清真正困难的问题。

刘提到 Rama Chellappa、Oncel Tuzel，以及 NVIDIA 同事 Tero Karras 对他的影响。他从 Karras 身上学到，要深入钻研一个想法、抓住本质，而不是追逐大量论文。

刘欣赏黄仁勋的好奇心。黄仁勋会钻研陌生领域，让研究人员解释他们学到了什么；一旦看到战略机会，也愿意做长期投入。

刘说黄仁勋对他的影响很大。黄仁勋经常寄论文让他阅读；刘也惊讶于黄仁勋愿意进入原本不了解的领域，从图形学到深度学习都能快速学习。

黄仁勋会从第一性原理出发找出问题本质，再做长期押注。刘看着他投资深度学习和 CUDA，也改变了自己原先偏短期的决策习惯。

黄仁勋会认真阅读大量员工邮件，从中寻找可能影响公司的信号。刘认为，排序优先级是一种日常纪律：辨别什么最重要，再执行，不让私人关系干扰判断。

刘手头的工作从两三个研究项目扩展到不断切换主题。他借用计算机科学中的“懒惰”原则来谈决策：能省去的计算就别做，也别把有限精力耗在无关紧要的事上。

管理研究后，刘不得不学会做取舍。计算机科学的“懒惰”思想也适用于项目选择：避免不必要的计算，也要判断哪些项目值得投入有限时间。

刘通过运动和几十年的中国武术训练保持精力。他的师父徐纪承袭刘云樵、神枪李书文一脉。

刘说，练武重在自我控制，不是为了打架。他跟随徐纪训练数十年，也珍视独自练拳、站桩的纪律。

刘清晨独自练站桩和拳法，最近还加上了冰水浴。他说武术教会他控制全身和约束自己，而不是展示破坏力。

在工作中，刘会直接指出研究人员哪里没做好。他认为坦率的批评能帮助人进步，但也理解听的人可能觉得语气严厉。

Cosmos 是刘唯一负责的项目，他把它看作团队未来十年的使命。黄仁勋说“做到 Cosmos 97”，表达了要持续打造 Physical AI 基础技术的决心。

刘认为，世界模型能帮助具身 AI 超越训练数据，实现泛化。Cosmos 想从三方面提供帮助：更好的数据、更好的起点，以及更好的环境。

机器人见过的数据只覆盖现实世界的一小部分。模型可以生成现实中未采集到的有用样本，让开发者训练那些罕见或采集成本很高的情形。

理解物理世界规律的世界模型可以预测接下来可能发生什么，并为策略模型及其他系统提供更好的初始表征。

人通过与环境互动来学习，但现实实验既昂贵又耗时。逼真的模拟环境——“机器人的黑客帝国”——可以让智能体更快积累经验。

刘认为，最难的是打造足够逼真的环境，产生有用的学习信号。Sora 让这项机会变得清晰后，Cosmos 于 2024 年 3 月左右启动，黄仁勋信任刘来带队。

刘提到第三类世界模型：重建三维场景。机器人或智能体可以先在虚拟空间探索、检验计划，再到现实中行动。

刘说，“世界模型”没有适用于所有场景的单一解释。有些模型预测未来，有些解释事件为何发生，还有些重建周围环境。

LLM 预测下一个词或 token，而世界模型可以描述多种物理过程。Cosmos 希望成为基础，让开发者按自己的问题进行调整。

Cosmos 这个名字体现了比内容创作更大的目标：建模物理世界，帮助开发者解决现实问题。刘说，人口老龄化、劳动力短缺和生活质量需求，让 Physical AI 有持久的发展空间。

刘说，Cosmos 希望为无力从头训练世界模型的开发者提供帮助。NVIDIA 提供一个起点，让不同团队构建适合自身应用的模型。

刘把 NVIDIA 定位为赋能者，支持从不同角度研究世界的团队，包括 Fei-Fei Li 的 World Labs 和 Yann LeCun 的 AMI Labs。公司希望整个生态都能成功。

物理学本身可以看作一系列解释世界如何运作的模型。深度学习则可以借助大规模数据，帮助系统从视频和其他观察中理解新事件。

世界模型还可以重建三维环境，用于规划和虚拟探索。刘以前做过场景重建，现在则专注于理解并生成物理世界。

模型可以从大量视频中学到规律，再用这些规律理解新事件。因此，世界模型能支持预测和解释，具体取决于开发者的目标。

“世界模型”涵盖很多用途，刘怀疑它能否有一个精确统一的定义。他把它和 LLM 对比：LLM 的功能更具体，就是预测语言中的下一个 token。

NVIDIA 把 Cosmos 称为世界基础模型，因为它能为企业提供基础，让他们打造适合自身需求的世界模型。许多 Physical AI 开发者无力从头训练这样的模型。

刘说，NVIDIA 希望赋能 Fei-Fei Li 的 World Labs、Yann LeCun 的 AMI Labs 等团队。各团队研究不同问题，NVIDIA 会用工具和开放模型帮助他们成功。

NVIDIA 的 Cosmos 团队最初分别开发了预测、视觉迁移、推理和动作模型。刘说，这些模型其实在学习同一个底层问题的不同部分：物理世界如何运行。

团队发现，维护许多专门模型会给用户增加负担。刘说，如果这些模型都在学习同一个世界，就可以把它们整合起来。

黄仁勋鼓励团队减少选项。刘用一家精品店作比：减少商品种类后，销售反而上升。产品更简单，客户就更容易选择并开展后续开发。

Cosmos 起步时，团队按不同需求分别开发模型：Predict 负责预测，Transfer 提升真实感，Reason 解释事件，Policy 负责动作。刘后来意识到，它们只是从不同角度学习同一个物理世界。

基础模型可以从多种数据流中学习。刘推想，如果这些模型都在学习同一个世界，把数据整合起来就能提高整体能力上限。

刘最初估计，服务合作伙伴可能需要 22 个模型。黄仁勋拿精品店作比：减少展示商品后销售反而更好，因为选项太多会让顾客困惑。

每发布一个模型，团队还得帮助用户部署、排障和改进。维护许多独立模型会分散精力、拖慢迭代。

Cosmos 3 因而把模型统一起来。Cosmos 2 到 3 的变化很大；Cosmos 2 主要改进数据，并加入了策略能力。

团队在完成 2.5 后，大约于 10 月或 11 月开始开发 Cosmos 3，花了约半年时间发布。刘说，模型开发决策往往要提前几个月做，因此很难临时快速转向。

有评论认为 Cosmos 3 没有太多全新的技术想法，却验证了许多细节能否规模化。刘说，把已有组件组合起来并不简单；混合 Transformer 要扩展到音频、视频和动作，关键在于把细节做对。

刘更关心方法能否解决真实问题，而不是是否属于革命性创新。论文也让研究更透明：NVIDIA 开放了模型、训练框架和部分合成数据，帮助 Physical AI 社区继续探索。

刘说，NVIDIA 开放了模型和训练框架，让 Physical AI 社区能检查并继续扩展这项工作。他希望研究能帮助 NVIDIA 团队以外的开发者。

刘说，语言、视频、音频和动作分别描述同一个世界的不同侧面。视觉不是唯一信号，触觉也可能有用，不过触觉传感器和灵巧手还在发展中。

有些模型以语言为中心，例如聊天和编码模型；有些以视频为中心，例如视频生成。Physical AI 智能体会对世界采取行动，因此刘认为动作也应与语言和视频一样成为核心信号。

刘说，语言、视频、音频和动作分别揭示同一个世界的不同信息。触觉也能提供帮助，但触觉传感器和灵巧手仍在发展。

语言能表达人的知识和指令，视频展现物体和场景如何变化，动作则连接模型与机器人的实际行为。声音还能揭示接触等物理事件。

语言承载人类知识，也让人能与机器人交流；视频和音频记录物理世界的变化，动作则让智能体反过来改变世界。Cosmos 聚焦这样的实际目标，而不是抽象地追求 AGI。

团队发现，如果预测动作后发生的观察结果，动作预测就会更好。视频、音频和动作可以共同教模型理解机器人行动后世界如何变化。

不同模态能互相补充：预测动作后的画面，有助于训练策略模型；点击声等接触声音，则能提示物体碰到表面的时刻。

详细的文字描述能缩小可能结果的范围，也让视频更容易生成。Cosmos 3 将 Reason、Predict、Transfer 和 Policy 整合起来，让各种信号相互补足。

刘说，模型没有什么秘密配方。团队先提出假设，再做控制实验、分析结果，并据此设计下一轮测试。进步来自严谨的工作和对数据配比的仔细调整。

Cosmos 3 使用双塔架构：一塔处理离散信息，一塔处理连续信息。Reasoning 源自视觉语言模型，生成和策略则采用连续表征，因此分开处理更实用。

客户常用自己的视频—动作数据对 Cosmos 做后训练，也可以只采用它的推理能力，再配合领域数据。双塔让客户能调整一侧，而不意外改变另一侧。

如果架构完全连在一起，客户的生成数据可能会影响理解能力，即使这些数据里根本没有理解任务的样本。双塔不那么优雅，但现阶段更方便使用。

刘说，长期目标也许是合成一塔，但模型必须易于适配不同摄像头和硬件的机器人。工程设计简单，前提是客户确实能采用它。

研究人员正在探索 Transfusion 等统一架构，同时处理离散的下一个 token 预测和连续扩散。刘希望找到更简单的全离散或全连续设计，但哪种方案有效还得靠实验判断。

离散系统可能更容易训练，连续表征也有自身优势。最终更重要的是部署成本，以及客户能否顺利运行模型，而不是理论上是否优雅。

刘引用《孙子兵法》说，什么都想做的模型可能样样都不精。战略意味着作出取舍，让模型更好地服务某个具体应用。

刘说，离散和连续表征各有优势，但架构最终要能部署给客户使用。若开发者无法运行或调整它，理论上的简化就没有实际价值。

刘希望 Cosmos 帮机器人实现泛化。一台有用的系统应该只看一两次示范，就学会一个人喜欢怎样叠衣服，并能在真实家庭中重复完成。

另一个测试是，机器人能否阅读设备手册，然后在工厂操作或检查机器。刘说，这类例子体现了 Physical AI 要实现的泛化能力。

Cosmos 未来的改进重点是泛化和速度。团队可能需要调整架构、训练目标或精选数据，但刘强调，正确方案必须通过实验验证。

刘把深度学习的迭代比作中医：详细记录、控制变量，从反复尝试中总结经验。更强的语言表征可能有帮助，但 Physical AI 用例仍需专门测试和权衡。

刘说，模型改进不能靠猜。团队会详细记录实验、控制变量，再根据每次结果决定下一步尝试什么。

刘认同更强的语言表征可能帮助世界模型，例如更大的文本编码器曾提升图像生成能力。但 Physical AI 与聊天、编码不同，语言能力提升是否有价值仍须实验验证。

刘认为，模型设计要从客户的真实痛点出发。资源有限时，关键是判断任务真正需要什么能力，而不是给机器人添加它可能永远用不上的智能。

工厂或家务机器人不需要解数学或编码题，而要把分内工作做好。若模型要商业化，运行成本也必须纳入设计。

刘预计，服务物理工作的模型会与服务数字任务的智能体模型不同。他拿犁地和织布的工具作比：工具应适合具体工作，而不是让一种架构包办所有事情。

Cosmos 训练已用到数万张 GPU，刘希望未来还能增加资源。NVIDIA 把模型分为数字智能体 AI（Nemotron）和 Physical AI（Cosmos）两类，他认为两者都很重要。

Cosmos 也支持自动驾驶和机器人领域的专门工作。NVIDIA 的自动驾驶与机器人团队基于基础模型做具体优化；刘把这些内部团队也视为希望服务好的客户。

刘认为，随着人口老龄化和制造业对自主化的需求上升，Physical AI 可能成为巨大市场。他不替公司预测市场规模，但看到了广泛的应用空间和强劲需求。

刘把评估分为三类：固定基准测试、模型之间的正面对比，以及请真正面对痛点的专家测试。Physical AI 尤其需要第三种，因为每位客户的任务可能都不同。

Physical AI 数据很难采集，因为每种机器人的机身和配置都不同。刘把任务分成两大类：从一处移动到另一处的导航，以及用手或工具进行操作。

导航数据更容易在不同机器之间迁移，操作则复杂得多。许多团队转向仿人手，因为人类环境和工具本来就是为人设计的，人也能提供有用的示范数据。

因此，Cosmos 3 加入了第一人称数据，记录人眼看到的画面和双手如何操作物体。NVIDIA 不打算制造所有机器人，而是提供可迁移的数据和工具，帮助其他团队开发。

NVIDIA 的优势不只有模型权重，还包括自研 GPU、机器人计算机 Thor 和 Isaac 仿真工具。刘说，这些资源能帮助合作伙伴训练和部署自己的系统。

被问到最满意 Cosmos 3 的什么地方时，刘说，统一模型的表现超过了原先分开的模型。他很自豪：原来负责多个系统的大团队，最终协作交付了一个模型。

NVIDIA 的优势包括相对充足的 GPU、在 Physical AI 领域多年的积累、Thor 芯片和 Isaac 仿真平台。刘说，公司愿意帮助合作伙伴成功，也让客户更愿意合作。

刘遗憾的是，发布时模型还没有完全收敛。受时间限制，许多改进没能完成；团队之后会继续开发 Cosmos 3.1 和 3.2。

黄仁勋说“Cosmos 97”，表达了未来几十年继续研究世界模型的决心。刘想象的终极形态，是一个逼真的“黑客帝国”式环境，让机器人能通过亲身体验世界来学习。

刘认为数字 AI 和 Physical AI 可能需要不同架构。Nemotron 使用混合设计，降低长时间运行智能体的推理成本；Cosmos 则探索加入动作信息的 Transformer 路线。

两个团队紧密合作，共享论文作者；若能更好服务客户，未来也可能统一模型。刘的判断标准很简单：选最能帮助用户的设计，不要为了维护某种架构而固执己见。

Cosmos 团队有近 300 名参与者，组织设计因此成了挑战。刘希望目标统一、决策分散，因为任何一个人都不可能知道全部，也没有足够时间包办每项技术选择。

如果每个小组只优化自己的信号——动作、视频或推理——项目就可能分化成相互竞争的架构。团队需要共享目标和足够透明的信息，让每个人都能做出有利于整体模型的决定。

刘说，论文最终呈现的成果约有 90% 符合他的预想。他提前向项目负责人讲清目标，帮助团队收敛方向，同时让每个人在各自岗位上发挥作用。

Cosmos 团队每周开很多次会。刘努力让会议更有参与感，但他说没有放之四海皆准的公式：会太少会让工作脱节，会太多又会挤占执行时间。

刘把 NVIDIA 的文化形容为自上而下和自下而上的结合。团队要根据当时的情况调整工作方式，不该把任何一种模式推到极端。

Physical AI 的“ChatGPT 时刻”，是公众看到一个显而易见有用的应用，而不只是模型基准成绩漂亮。刘说时间很难预测，但行业兴趣、资本和创业者都在增加。

人形机器人可以利用人类示范数据，也能操作按人手设计的工具；但加上腿和手也会提高复杂度。刘认为仿人形态会很重要，具体形态还要看经济效率。

刘不认为世界模型会出现某个突如其来的单一拐点，它们早已存在，之后会持续进步。开发者仍需要时间，把新模型整合进机器人和真实工作流程。

被问到机器人会不会在“黑客帝国”里觉醒、想要逃离时，刘说这个比喻是为了说明模拟环境能加速学习。他认为人类社会会建设并运营这些技术，共同规范和安全措施能让发展保持正轨。

刘补充说，痛苦或许能推动人进步，但他怀疑硅基智能是否会经历同样的感受。目标是改善人的生活，同时建立护栏，保障社会正常发展。

刘说，世界模型是解决具体问题的工具，本身不是终点。开发者可以借助 Cosmos 加快进度；如果开源合作伙伴做出更好的模型，他认为整个领域都会受益。

刘不担心模型被复制。NVIDIA 希望 Physical AI 尽快落地，让更多团队参与、扩大生态，从中受益。

刘说，开源模型是交给开发者使用的工具。即使合作伙伴基于 Cosmos 做出更好的模型，NVIDIA 也乐见其成；公司希望 Physical AI 更早到来，让更多团队参与。

刘认为，下一个 CUDA 未必是单一模型，而可能是由 Nemotron、Cosmos、推理服务软件和基础设施组成的完整技术栈，各部分满足不同需求。

刘说，下一个 CUDA 不会只是一个新模型，而会是 Nemotron、Cosmos、服务软件和基础设施的组合。CUDA 曾是一项高风险的长期投资，后来在深度学习兴起时找到了关键用途。

这条道路无法原样复制，因为行业需求已经改变。NVIDIA 必须适应变化，判断每个阶段最重要的贡献，而不是先拿着“锤子”再到处找钉子。

过去十年，刘看到外界眼中的 NVIDIA 从一家图形公司转变为 AI 公司。转型并不平稳；股价和前景有过起伏，Google TPU 出现时也让人担忧。

刘说，自己加入 NVIDIA 的理由很简单：研究需要 GPU，他想去生产 GPU 的地方工作。当时没人能预测公司后来会取得多大成功，他很荣幸能参与其中。

刘回忆，他曾拒绝一家投资公司的工作机会，对方给出的薪酬是当时的四倍，因为他仍想做研究。NVIDIA 当时名气不大，但能提供他需要的算力。

黄仁勋的外表变化很大，也承受了更多压力，但刘说他仍然非常关心员工，会认真读他们的留言、从中寻找信号。NVIDIA 已从桌面 GPU 扩展到数据中心，也把 Physical AI 纳入重点。

黄仁勋常说，公司每天都像只剩 30 天现金。刘认为这不是字面上的财务预测，而是一种纪律，促使领导者谨慎地作出每个决定。

疫情期间公司遇到困难时，NVIDIA 先削减差旅、检查重复的软件订阅，而不是裁员。刘说，公司寻找可以去掉的非必要开支，尽量让员工留在一起。

刘说，他从没见过 NVIDIA 大规模裁员，或按绩效排名末位强制淘汰员工。员工可能在绩效评估后自行离开，但公司不会只因优先事项改变就开除他们。

他认为，工作有保障能让员工坦诚交流、彼此合作，而不是互相竞争以求突出。代价是技术转型时再培训员工，可能比直接招一个新团队更慢。

NVIDIA 会尽量让员工从事自己擅长、也觉得有意义，同时符合公司需要的工作，以提高效率。黄仁勋的长期文化让公司有时间提前多年准备，CUDA 就是一个例子。

刘说，NVIDIA 会提前多年布局，不要求每种新技术都立刻赢下竞争。CUDA 是长期投入后来找到关键应用的典型例子。

刘说，NVIDIA 不喜欢内部赛马。公司交给团队一项使命、设定很高的标准，并信任他们完成任务，再通过严厉反馈推动他们继续进步。

打造大型模型多年给刘带来很大压力：GPU 资源和年轻研究员的时间都很宝贵，但结果有时达不到团队的期望。GPT 兴起后，行业迭代加速，工作变得更难。

刘的生活安排变得更高效：他凌晨四五点起床锻炼，再投入排满会议的日程。他尽量保护早晨连续、不被打断的时间。

NVIDIA 有一项“Top Five”做法：员工分享自己正在做的五件最重要的事。这样可以发现公司各处的重要信号，例如不同团队是否在重复做同一件事。

刘把 NVIDIA 描述成一个有机体，而不是僵硬的组织图。使命变化时，相关团队能跨越汇报关系迅速协作；“使命就是老板”体现了公司如何转移注意力。

刘说，围绕使命协作，能让员工跨越正式团队边界贡献力量。即使新优先事项不在原有汇报关系内，员工也可以投入其中。

信息透明让员工能为整个项目作决定。黄仁勋所说的“使命就是老板”，既给团队共同目标，也给每个人自主行动的空间。

刘认为，优秀团队需要相互信任、优势互补，而不是争着证明谁最聪明。成员应能分享想法、彼此挑战，并专注于团队真正需要的事。

被问到低自我是否只是伪装时，刘说那是自信。他对自己的工作要求很高，但目标是打好基础、帮助别人更快前进，而非击败对手。

刘以前用论文是否超过其他方法来衡量成功。现在他更享受帮助客户和合作伙伴提升能力，也愿意建立让其他团队受益的基础。

年轻时，刘希望每篇论文都胜过别人。后来他发现，帮助合作伙伴提高效率、培养新人才更让他满足，即使自己的模型之后被超越也一样。

刘说，做研究员时，他用论文能否赢过其他方法衡量成功。成为管理者后，他更看重培养新一代人才，以及帮助合作伙伴更有效地解决问题。

刘举例说，NVIDIA 支持硬件合作伙伴、游戏开发者和软件框架。公司参与 PyTorch、TensorFlow、Triton 和 vLLM 等生态，因为开发者成功，整个平台也会壮大。

刘称黄仁勋为“六边形战士”：他能讨论计算机寄存器等底层细节，也能谈产品定价、营销和客户关系。黄仁勋的批评有时很直接，刘认为这是在推动大家做到最好。

刘说，黄仁勋的批评通常伴随鼓励，目的是让人把工作做得更好。不过，这种指导需要领导者投入大量时间和精力。

刘说，黄仁勋会用“安静点，宝贝”来提醒人别找借口、要专注解决问题。团队有很高的要求，但评估贡献时也不该认定只有当前排名第一的模型才有价值。

黄仁勋说的“安静点，宝贝”让刘印象很深。结果不理想时，研究者应该想办法解决导致差距的条件，而不是找借口。

刘说，一个模型可能短暂领先基准成绩，很快就会被另一个模型超过。更长久的价值，在于有能力持续打造强模型，并为客户、合作伙伴和整个领域作出贡献。

刘认为，“绝对第一”很难定义。他希望 NVIDIA 能构建前沿模型，但不希望能力集中在少数人手里、造成不健康的权力失衡。

刘说，最终衡量标准是贡献：人一生只有一次，他希望自己的工作曾经帮助过世界，也能证明自己没有白来一趟。

被问到还想实现什么时，刘说 Physical AI 尚未成功。他希望世界模型能成为推动这一领域取得实际突破的重要力量。

刘说，论文数量、引用数和奖项等外部指标不可能人人都赢。他更关心自己是否为工作感到自豪、是否帮助了别人。

他的关注点已从争取认可转向帮助 Cosmos 用户和团队。刘希望自己一路上的工作与交流，能悄悄地对一些人产生积极影响。

刘赞赏中国 AI 生态的速度和开放度，提到 DeepSeek、Qwen、豆包、MiniMax、Kimi、Hunyuan 和智谱。他指出，中国公司仍大量招收实习生、传播研究经验，而美国一些前沿实验室已减少实习机会。

刘认为，多数研究者以求知和探索真理为动力，而非信奉某种技术。随着一个问题逐渐被理解，他们会把目光投向新的问题。

他也认为，大语言模型已经带来显著价值，尤其是 Coding Agent。对研究者来说，继续探索下一步是很自然的事。

他预计 2026 年会有很大变化，模型公司上市可能让许多早期支持者获益。这些公司的成功验证了多年来的远见和贡献，但技术不会止步，未来的领先企业也会与今天不同。

刘推测，模型能力会逐渐趋同，模型本身不再是差异化优势。公司需要围绕模型搭建生态、产品和服务，就像软件公司如今都能写软件，却仍各有特色。

他把模型比作中医：经过大量尝试，黑箱也能逐渐形成一套实用知识。关键在于如何使用模型；新团队若找到有价值的切入点，仍有机会赶上。

刘说，新团队若能调动人才和算力，仍可能追上。如果前沿模型不再是决定性优势，公司也许会找到共享系统、互利合作的方式。

如果训练模型仍是决定性优势，更多团队就会投入；若不再如此，企业可能转而共享模型、互相合作。刘认为，行业最终会自然趋于平衡。

刘预计端侧模型会与 Physical AI 一起发展，但无法预测具体时间。他相信世界模型有助于实体系统实现泛化，行业还在探索模态和部署方式，真正的突破仍在前方。

美国只有少数公司自己制造机器人硬件，中国却有很多公司同时做机器人本体和软件。刘认为，中国的制造业基础有利于快速迭代硬件并紧密整合软硬件。

刘说，自己掌握硬件能让机器人公司更好地控制软硬件整合。中国的制造业基础有利于快速迭代，不过商业模式同样重要。

Physical AI 的“ChatGPT 时刻”可能出现在这样的产品上：人简单示范一次任务，机器人就能当场学会。刘认为，核心问题是泛化——从观察到行动，并能应对没见过的场景。

仿真到现实的落差也是泛化问题。Cosmos 近期可以通过更好的数据和更好的起点提供帮助；完全逼真的训练环境仍是未来要实现的目标。

刘希望五年后再访时，他们能说清 Physical AI 突破发生的具体时间和地点。他希望 Cosmos 能推动几家重要公司抵达那个时刻。

快速问答环节里，刘最喜欢的食物是牛肉面，最喜欢的地方是湾区。他读书很多，喜欢金庸武侠小说，还提到黄仁勋曾推荐一本讲定位与理解问题的心理学书。

刘建议年轻研究者别担心 AI 明年就会让自己的工作过时。要保持冷静，选择值得投入的问题，也不要被炒作影响，觉得自己的选择越来越少。

他看好 Physical AI，但认为 AI 还会影响材料、药物、生物学和各行各业。研究者应寻找能让自己的投入产生实际价值的领域。

刘说，如果团队解决的是不同问题，模型开发就不该变成《鱿鱼游戏》。世界上还有许多需求未得到满足，每个人都能在不同领域创造价值。

刘说，数据和基础设施往往比巧妙算法更重要。如果数据能解决问题，就去采集或生成数据；只有数据无法解决的部分才需要算法，并通过严谨实验持续迭代。

被问到每家公司是否都要训练自己的大模型时，刘拿电力作比：只有经济上划算，公司才会自建发电厂。若模型成为商品，大多数企业会使用共享服务。

刘说，一个研究团队很难永远保持完全一致。每个人都有不同抱负，而有钱就能买到算力；公司可以训练模型，但不一定非得这么做。

刘说，Cosmos 并非 NVIDIA 输不起的一场战争。NVIDIA 希望打造 Physical AI 市场；若家庭未来会购买多台机器人，算力需求就可能大幅增长，让许多公司受益。

黄仁勋常说要创造市场，而不是争夺已有市场。“零十亿美元业务”眼下还不是一门生意，但成功后可能成为十亿美元规模的市场。

刘说，“零十亿美元业务”起初并不存在，只有新市场成功后才会成为十亿美元机会。他认为，NVIDIA 愿意冒险，才有了 CUDA 这样的成果。

刘说，NVIDIA 的押注有风险，但不去押注可能风险更大：如果 GPU 没有可编程能力，最终可能沦为普通商品。访谈最后谈到黄仁勋希望照顾员工家庭，以及用 AI 改变世界所带来的成就感。