陈建宇：机器人基座模型如何走向通用 VLA

陈建宇把机器人基座模型视为通往通用机器人的路线：过去每种场景都要重新开发一套机器人和程序，ChatGPT 让人们看到由通用模型承担多类任务的可能。他也提到谷歌、伯克利、斯坦福等团队以及自己的课题组，已较早开始探索机器人 VLA。

节目主持人张小珺介绍嘉宾陈建宇：他是清华大学交叉信息研究院助理教授、星动纪元创始人，研究和创业都围绕人形机器人与具身智能。陈建宇补充，自己本科毕业于清华，之后在 UC Berkeley 读博，研究机器人控制和无人车。

陈建宇说，博士毕业后回清华任教，继续做机器人 AI；2022 年开始研究人形机器人，2023 年成立星动纪元。团队已经开发多代人形机器人本体、运动控制强化学习模型，以及上层端到端具身智能模型。

张小珺以快问快答询问公司情况。陈建宇说公司于 2023 年 8 月正式成立，实际从 2022 年开始筹备，当前处于 Pre-A 轮融资阶段；估值暂不公开，个人 MBTI 在 INTP 与 INTJ 之间变化。

张小珺问，这一轮机器人创业与过去十年有何不同。陈建宇把最大变量归于大语言模型：ChatGPT 在 2022 年底出现后，机器人领域于 2023 年下半年受到明显带动。

回看 AI 与机器人的结合，深度学习最早主要用于计算机视觉和无人车感知；AlphaGo 则证明深度神经网络与强化学习可以在巨大状态空间中决策。这让研究者看到 AI 也能用于连续空间里的机器人行为和控制。

深度强化学习把神经网络用于选择连续动作，拓展了 AI 在机器人控制中的用途。陈建宇在读博期间也开始转向这一方向，但当时模型还不够强，仍难以解决多场景泛化。

不过，早期机器人学习还难以通用。陈建宇说，很多人的目标一直是构建通用机器人模型，ChatGPT 展示了足够强的泛化能力，才让这个方向显得更现实。机器人已有半个多世纪历史，却长期被专用任务限制。

传统做法往往是“一百种场景、一百种任务，就开发一百种机器人”。每种任务都要重新写代码、训练模型，甚至设计不同本体，开发和维护成本都难以规模化。

人形机器人受到关注，也因为它在形态上更接近通用本体，不必为每类任务重做一套硬件。陈建宇认为，通用模型与较通用的本体结合，才构成这一轮具身智能发展的希望。

张小珺问行业路线是否收敛。陈建宇认为技术路线正在收敛，但还没到共识明确的阶段；通常会先出现技术收敛，再逐渐形成场景和商业模式。商业探索也会反过来影响数据来源、技术选择与产品形态。

节目聚焦机器人基础模型。陈建宇认为，传统方法的改进可能帮助短期商业拓展，但长期要走向通用机器人，需要构建能够跨任务泛化的机器人模型，并通过论文脉络观察领域共识如何形成。

张小珺请他解释 VLA。陈建宇说，V 是视觉、L 是语言、A 是动作；在他的定义中，关键是一个端到端、能够扩展和泛化的模型，同时处理这几种模态。未来还可以纳入触觉、声音等输入，不必把缩写无限加长。

陈建宇强调，今天已有的 VLA 不一定就是终极架构，但更广义的目标是让模型理解环境、指令和各类机器人信号，并直接产生行动。他认为通用机器人最棘手的问题，是找到真正能规模化的模型架构。

他把通用机器人称为科学和工程共同面对的问题。人能够语言交流、视觉理解、驾驶和行动，未来 AGI 也可能统一这些能力；实现过程会分阶段推进，既需要理解具身智能本质，也需要解决工程问题。

张小珺问机器人普及需要多久。陈建宇希望五年内人们能经常在生活中看到机器人，甚至有些家庭开始使用，但他说明“遍布”并不等于每户都拥有多台机器人。

正式进入论文梳理后，陈建宇先比较大模型之前的 AI：图像分割、分类、标注和视觉问答通常各用一个独立模型，数据和系统都难以维护。基础模型通过多模态的大量数据预训练，再适配不同任务，显著改变了这种模式。

他把机器人学习的现状比作早期专用 AI：一种机器人本体配一个任务，就要单独训练一个模型。机器人基础模型的目标则是汇集不同本体与任务的数据，预训练一个更通用的模型，再提示或微调到新任务。

机器人基础模型并不只是把旧模型放大，而是把不同本体、任务和数据放进统一预训练，再逐步用提示和微调适配。早期可能仍需针对新任务微调，模型规模也要由本体算力约束。

陈建宇说，理想状态是模型仅凭提示就能适应新任务和新本体，但这非常困难，早期仍需要微调。模型尺寸也要考虑机器人本体的算力，不能只追求参数量。

机器人基础模型研究先经历“把现成 AI 用到机器人上”，然后转向“为机器人预训练端到端基础模型”。接下来他将按这两阶段展开，重点介绍直接输入视觉、语言并生成动作的 VLA。

传统机器人系统可以概括为规划、感知和执行三部分。研究者最先尝试用语言模型替代规划：比如让模型把“用机械臂做咖啡”拆成拿取、移动和操作等步骤，感知与底层控制仍交给传统模块。

Google Robotics 的 SayCan 研究如何把语言模型提出的步骤与机器人实际能力对齐。语言模型负责想出可能的行动，单独训练的价值函数判断当前机器人能不能做，两者结合后才选出既符合目标又可执行的计划。

SayCan 把语言模型的计划与机器人在当前状态下的可行性评估结合起来。语言模型提出目标步骤，价值函数评估每个动作是否可执行，再从候选中选择能够推动任务的步骤。

SayCan 的名字来自“可以做”与“能做到”的结合。它演示了用自然语言完成较长任务的路径，但计划仍是分步生成；若环境中出现未预期情况，系统未必能及时修正。

张小珺用论文名开玩笑，说它像在告诉模型“你可以”。陈建宇展示系统执行过程，并承认论文展示的成功案例不代表没有失败：模型会从候选动作里选一个当前可行的，但未必是最优方案。

随着视觉语言模型出现，研究者开始尝试用它替代传统的分割、检测等感知模块，让模型直接根据图像进行通用推理。Inner Monologue 用“拿钥匙开门”说明反馈的重要性：钥匙插不进去，模型就应换一把再试。

Inner Monologue 的关键是动作完成后读取环境反馈。机器人尝试用一把钥匙开门，如果插不进去，就根据反馈推断钥匙不匹配并重新选择，而不是盲目执行原定动作序列。

与预先写好完整步骤的 SayCan 不同，Inner Monologue 在执行动作后读取环境反馈，再重新规划。执行、观察、推理和修正形成闭环，使机器人能够应对计划中途失败。

清华和上海姚期智研究院的 DoReMi 进一步把反馈做得更及时。视觉语言模型以约 10 赫兹频率监测机器人搬箱子等任务；若箱子中途掉落，系统可马上发现并让语言模型重规划，而不必等到整段动作结束。

DoReMi 用视觉语言模型作实时检测器，观察搬箱子过程中是否出现异常。相比等整段搬运结束再发现箱子掉落，及时反馈可以让语言模型立即重新规划并拾回箱子。

在 VoxPoser 中，视觉语言模型提供空间场景信息，语言模型根据指令推理并生成代码，代码再调用底层控制器。系统可构造可供性地图和约束地图，标出目标区域、障碍物与可行轨迹。

VoxPoser 将空间理解转换为可供性地图与约束地图，再用轨迹优化规划机械臂路线。视觉模型回答场景里有什么，语言模型理解任务目标，程序则把二者转成可执行的底层操作。

VoxPoser 把“让机器人自动写程序”的想法具体化，属于把现有模型和机器人工具拼接起来的路线。微软也曾尝试让 ChatGPT 编写机器人代码；这类方法利用了语言模型能力，却没有让模型本身学会机器人动作。

陈建宇认为，直接调用语言模型或视觉语言模型可以快速做出系统，但还不是通用机器人基础模型。理想模型应在训练中获得具身能力，而非只通过外部工具间接控制机器人。

真正预训练机器人模型，需要重新设计网络、动作数据和训练流程。语言模型仍可作为基础，但机器人模型的架构、硬件、本体、数据收集和配套算法都要一起考虑。

陈建宇将后续路线定义为机器人基础模型的端到端预训练：输入视觉、语言指令，直接输出动作。人本身可以被视为一个通用的 VLA 智能体，而未来模型还可能把世界预测等输出纳入其中。

Aloha 是低成本双臂操作的重要工作。它用四路摄像头观察机器人，通过 Transformer 编码视觉，再由解码器输出未来一段动作序列。核心的 ACT（Action Chunking Transformer）一次预测一组动作，而不是只预测单个瞬时动作。

Aloha 采用时间集成，把不同时间点预测的同一动作对齐后加权平均，使轨迹更平滑。这与模型预测控制的思路相似：系统持续规划未来动作，但每一刻都根据最新观测重新计算。

尽管 Aloha 在精细操作上令人印象深刻，陈建宇提醒它还不是通用 VLA：它不直接接收自然语言并泛化到各种任务，基本仍是为具体任务训练的策略。它的贡献在于低成本硬件也能完成精细双臂协作。

Aloha 第一代演示了用双臂夹取电池并放入电池盒等操作。系统和算法开放，成本低于许多传统机器人研究平台，也让更多研究者能复现并扩展这类实验。

Mobile Aloha 在双臂平台下增加移动底盘，让机器人可以边移动边操作。遥操作系统由人直接推动底盘、握住手臂进行示范，动作可以一比一映射到机器人并记录为模仿学习数据。

这种全身遥操作比隔着遥控器控制更直接，操作者能感受到手臂动作，也能自然演示移动和操作的配合。Mobile Aloha 因炒虾等视频在 2024 年初广为人知，整套硬件成本约三万多美元。

DeepMind 的 Gato 早在 2022 年就尝试用一个 Transformer 统一视觉任务、语言对话、视觉问答和机器人控制。陈建宇认为它的方向很有远见，但当时模型和数据还不成熟，机器人任务能力有限。

Gato 以统一 Transformer 处理多种输入和任务，却因当时数据和模型能力有限，只能完成较简单的演示。它证明统一建模值得探索，真正推动领域信心的则是之后通用语言模型的表现。

ChatGPT 出现后，研究者更愿意相信扩大模型和数据能产生通用能力。Gato 的早期尝试由此显得重要：它提出了统一模型的目标，虽然当时还只能完成较简单的演示。

Google 与 DeepMind 随后推出 RT-1，专注机器人控制，用 Transformer 训练大规模机器人数据。训练集包含约 13 万个 episode、700 种任务和 13 台机器人，数据收集持续约 17 个月。

机器人 Transformer 与语言 Transformer 的核心注意力机制相近，但输入端需要处理图像，输出端要映射为动作。RT-1 将视觉编码、Transformer 和动作生成端到端连接，成为早期较成熟的机器人基础模型。

在见过的抓取任务上，RT-1 成功率接近百分之百；对未见任务也展示约 75% 的成功率。陈建宇强调，数据的多样性比重复堆叠同类数据更重要：不同任务、物体和摆放方式能带来更大收益。

RT-1 的关键经验还包括机器人数据的多样性：不仅需要收集更多样本，还要覆盖不同对象和任务变化。模型在未见过的任务上取得成功，说明多任务训练能带来一定泛化。

机器人数据常有分布单一的问题，自动驾驶也一样：普通道路驾驶很多，危险边缘情况很少。若只增加重复、相似的数据，模型未必学会处理罕见状态，因此采集策略和数据质量会显著影响表现。

RT-1 的数据分析说明，数据量和数据分布都影响性能。重复同一物体、同一摆放方式并不会持续增加有效信息；不同任务、物体和场景能让模型更可能应对训练集之外的变化。

自动驾驶同样面临长尾问题：日常驾驶样本很多，险情和边缘情况很少。若数据采集没有刻意增加多样性，模型即使见过大量记录，也可能没学到如何处理少见但重要的情况。

尽管 RT-1 数据丰富，机器人操作基准仍以较基础的抓取为主。陈建宇认为，若能采集更复杂、更多变的任务，通用模型训练才更有机会进一步提升。

RT 系列背后的研究者后来也创立了 Physical Intelligence（π）。陈建宇认为这支团队在 VLA 领域积累深厚。随后介绍的 Octo 是开源通用机器人策略，可视为 RT-1 的开放路线之一。

Octo 采用 Transformer，并把视觉与语言分别编码后输入模型。它的一个设计是允许下游微调时增加新的动作空间，让同一基础模型适配不同机器人控制方式，例如输出末端执行器位姿或直接预测关节角度。

Octo 的架构允许模型在预训练后微调并接入新动作空间，不同机器人可采用不同控制定义。这样的灵活性回应了本体自由度不一致的问题。

CrossFormer 进一步追求跨本体学习：同一模型希望覆盖机械臂、四足机器人、移动平台甚至飞行器。由于不同本体的自由度和动作定义不一样，它共享主体网络，再为不同机器人配置对应的动作头。

动作头可理解成针对不同肢体的小脑，共享的大部分网络则像大脑。实验显示，在某些任务中，多本体联合训练比只用单一本体数据训练更好，说明不同机器人数据之间存在可以迁移的共性。

CrossFormer 的动作头处理本体间不同的自由度，共享骨干则利用任务共同结构。单臂与双臂操作、四足和轮式移动各有差异，但数据混合后可以学到可迁移的表示。

多本体训练在部分基准上超过单独训练，支持“跨具身学习”的假设。不过优势并不意味着本体差异消失，执行端仍需根据机器人形态映射到合适动作空间。

陈建宇团队的 GR-1 把未来图像预测加入机器人预训练。第一阶段用视频数据学习“当前画面和指令对应未来画面”，第二阶段再加入机器人动作数据微调，让模型从视频中学习物理世界的时序关系。

人会不断预测环境下一刻会怎样：开车时留意孩子是否突然跑出，看到杯子靠近桌沿会预期它可能掉落。陈建宇认为预测未来是理解物理状态的一种方式，也能反过来帮助机器人选择动作。

GR-2 在更大的模型和数据上延续同一思路，并展示模型规模增大后损失下降、任务成功率提升的趋势。与只从机器人动作数据训练的模型相比，视频预训练让模型获得了更多关于环境变化的先验。

GR-2 延续视频预测加机器人微调的做法，训练数据覆盖多套机器人数据集，也包括人类操作视频。团队观察到模型规模增加时训练损失降低、任务成功率上升。

视频预训练不直接给出机器人动作，却能让模型先学会物体和场景随时间变化。加入动作示范后，模型把已有的视觉世界知识用于控制，形成从视频到机器人任务的迁移。

陈建宇团队把 GR 系列作为机器人基础模型路线之一：先从普通视频中学习未来画面，再用真机动作数据适配。预测目标与控制目标并行，为模型提供比单一动作模仿更丰富的训练信号。

在他看来，理解世界不只是识别当前画面，也包括对下一刻状态的预期。能够预测物体运动和环境变化，机器人才能在动作执行前评估结果并调整计划。

模型也可以利用预训练语言模型。PaLM-E 把视觉编码器接入大语言模型，能看图问答并推理较长任务，再把低层控制交给 RT-1 等策略执行；因此它仍是分层系统，而非直接从图像生成动作。

PaLM-E 的多模态模型将图像、机器人状态与语言输入接入大语言模型。它能完成视觉问答和较长步骤的推理，但动作执行仍由另一个机器人控制策略承担。

PaLM-E 展示了从抽屉里取物、按颜色分类方块等任务，预训练语言模型为机器人提供了较强的视觉语言理解与长步骤规划能力。陈建宇指出，这类能力强于仅靠机器人数据训练的小模型，但控制模块仍是独立的。

PaLM-E 展示了从打开抽屉、找到物品到取出物品的长时序计划，也能理解按颜色分类方块等组合指令。预训练语言模型帮助处理颜色、空间关系和任务顺序。

这种分层方式把“想做什么”和“怎么控制机械臂”分开，便于利用语言模型推理，但不能算把感知、规划、动作统一端到端训练。

RT-2 把视觉语言模型的输出直接连到机器人动作：将动作编码为 token，视觉语言模型可据输入图像和指令预测对应动作，而不是先输出文本计划再交给 RT-1 执行。

RT-2 通过联合微调机器人数据与原有视觉问答等数据，避免模型只记住动作样本、遗忘预训练得到的视觉语言知识。它因此能识别训练机器人数据中没出现过的概念，例如国旗、名人照片或特定物品。

RT-2 可根据互联网数据理解“把香蕉移到德国国旗上”等新指令，并识别此前机器人数据没见过的人物图像。语言和视觉知识因此能转成实体操作能力。

与 RT-1 相比，RT-2 在已见任务上差距不大，但在未见物体和语义组合任务上优势明显。模型可以把互联网训练中学到的概念知识迁移到机器人操作，这使 RT-2 成为常被视作 VLA 开山工作的代表。

RT-2 的联合微调会同时保留视觉语言任务数据和机器人动作数据。这个做法减少微调时只适应机器人样本、损失原有互联网知识的风险。

模型展示出的泛化不是来自机器人数据中见过所有物体，而是把预训练时学到的概念迁移到实体操作。陈建宇因此把 RT-2 看作视觉语言模型直接控制机器人的标志性工作。

Open X-Embodiment 汇集多个实验室的机器人数据，并用 RT-1、RT-2 架构训练模型。约 60 个数据集覆盖多种任务和本体；数据质量参差不齐，但开放数据集为社区提供共同基准。

Open X-Embodiment 的价值不仅是训练出新模型，也在于让研究社区共享标准化数据资源。作者把各实验室收集的机器人轨迹与 Google 的数据一并开放。

跨本体联合训练在一些测试中优于单一任务、单一数据集训练，RT-X 也比只用 Google 自有数据的 RT-2 有更好的表现。陈建宇提醒，当前基准任务相对简单，复杂真实场景仍需要更丰富的数据。

Open X-Embodiment 汇聚的数据来自多家实验室，因此机械臂、夹爪与任务设置并不完全一致。数据质量有高有低，但共同数据集让不同研究者可以在相同资源上开展训练和比较。

RT-X 用更大、更丰富的跨实验室数据训练策略，在一些任务上超过 RT-2 的单一数据训练。陈建宇同时提醒，当时基准任务还较简单，复杂场景需要更具挑战性的机器人数据。

OpenVLA 可视作开放版 RT-2：它以视觉语言模型为主干，直接输出机器人动作，并公开训练模型和代码。相比缺少开放实现的 RT-2，这类复现有助于研究者比较方法并推动社区发展。

OpenVLA 的开放性让研究者可直接检查模型和训练方法，并在统一基准上复现。它说明开源基础模型不仅能扩散权重，也能让研究社区共享数据与评估方法。

不过，单靠视觉语言模型输出动作也有局限。动作常被表示成离散 token，模型缺少专门的连续控制结构；加上大模型推理速度偏慢，动态、精细任务更容易受影响。

陈建宇团队的 HiRT 在视觉语言模型之下增加专门的动作策略。大模型低频理解指令和场景，小型动作模块读取视觉反馈并高频控制，让动作生成更快、也更适合精细操作。

层级结构并不意味着两个模块各自独立训练。陈建宇强调，模块间可回传梯度、整体端到端优化，才是判断系统是否端到端的重要依据。

团队用端到端训练定义这类架构：输入和输出贯通、模块之间可传递梯度。动作策略处理较小的动作空间，约几十 M 参数，视觉语言主干则可能有数十亿参数，分频运行能兼顾语义理解和实时控制。

在动态抓取实验中，机器人需要追踪不断移动的物体。HiRT 保持了接近 RT-2 的成功率，同时显著提高推理频率；较快的反馈让它能及时调整手臂，低频大模型则更容易错过目标。

高频动作模块同时读取视觉反馈，在跟踪移动物体时更快纠偏。对比低频的 RT-2，这种设计降低了动态任务里因反应滞后而抓空的风险。

Figure Helix 采用相似的双系统结构：预训练视觉语言模型搭配较小的 Transformer 动作模块，并以不同频率运行。Physical Intelligence 的 π₀ 也使用 action expert，但以 diffusion flow matching 生成动作。

NVIDIA GR00T N1 同样在视觉语言主干后加入扩散 Transformer 动作模块和动作编码器、解码器，并利用仿真器自动生成数据增强训练。不同团队的共同方向，是为动作提供更专门的表示和生成机制。

陈建宇区分 Transformer 与 diffusion：Transformer 是网络架构，扩散是生成式训练方法。扩散模型通过多轮加噪和去噪学习从潜在空间生成图像或动作，去噪网络本身可以采用 CNN、U-Net 或 Transformer。

扩散模型不是某一种固定网络，而是一种学习生成结果的训练目标。图像或动作从噪声开始，经多步去噪恢复成合理样本，去噪网络可以由不同类型的架构实现。

Diffusion Policy 把扩散生成用于机器人动作序列。模型以当前状态为条件，逐步去噪生成未来一段动作，再通过类似模型预测控制的闭环方式执行一部分并重新规划。

Diffusion Policy 在每次规划时输入当前观察，把动作序列逐步去噪生成。实际控制采用滚动方式，只执行当前需要的一段，然后吸收新观察再次规划。

扩散策略尤其适合动作连续、过程较长且需要精细控制的任务。早期演示包括将物体放进狭小架子、把酱料均匀抹在食物上，机器人还能在执行中应对人对目标的移动干扰。

扩散策略展示的任务包括把梯形架放进对应位置，以及把酱料均匀涂在小蛋糕表面。即便模型规模较小、没有语言输入，动作序列也能完成较长且细致的操作。

在涂抹任务里，实验人员不断移动目标，机器人仍需连续调整动作。多步生成的轨迹能表达动作间的连贯性，适合需要精细调整而非单点定位的任务。

RDT 将 Diffusion Policy 扩展到约十亿参数规模，利用大量机器人数据预训练，再对特定本体微调。它尝试把不同机器人的动作统一到一个较长的向量中，而不是像 CrossFormer 那样给各个本体分别设置动作头。

RDT 将这类方法扩展到十亿参数级别，并利用约百万条机器人数据预训练，再对具体任务微调。它希望将多种机器人的动作表示放入同一向量空间。

统一动作空间简化共享，但需要预留足够长的向量并定义各本体如何占用各段。陈建宇倾向共享主干、保留小型动作头，因为未来本体种类难以预先穷举，而各机器人只需用较少数据微调专属部分。

Diffusion Policy、RDT 仍属于视觉与语言输入、动作输出的 VLA，只是动作生成方式采用扩散。扩散去噪网络内部仍可用 Transformer，因此不能把“Transformer 架构”和“扩散方法”当成互斥选项。

陈建宇团队进一步提出 Prediction with Action：既然扩散擅长生成，能否在同一生成过程里同时输出动作和未来观测？模型于是联合预测机器人动作、未来视频或图像，使未来状态建模与控制共享表示。

这类模型可以灵活接收图像、语言、机器人姿态、深度相机或触觉等输入，也可以预测动作以外的未来模态，例如执行动作后看到的图像或将要触碰到的感觉。

团队在仿真和真机基准上测试抓取、绕线、开抽屉等任务。即便训练中只见过少数颜色的方块，模型也能在更多新物体上保持较好的泛化；预测未来有助于它理解任务环境。

Prediction with Action 的实验包含抓取、绕线和开抽屉等操作，并且在测试中加入训练时没见过的物体。预测未来图像与动作共同训练，能够加强对物体和环境的理解。

陈建宇把这种同时预测环境变化的能力称为融入世界模型：给定一个动作，模型预测环境接下来会怎样。生成的冰箱开门画面虽有合成痕迹，却能大致遵循物理变化，也能推测被遮挡区域可能出现的物体。

预测画面可呈现冰箱门打开后的变化，模型还会推测被遮挡区域的内容。生成结果并非完全真实，但在门的运动和物理关系上保持合理。

模型不仅预测 RGB 图像，也能预测深度；实验显示规模扩大时任务成功率有所提高。下一篇 Video Prediction Policy 则尝试借用互联网上预训练的视频生成模型，让机器人利用更大规模视频中学习到的视觉知识。

团队发现增大模型后成功率有所提升。下一步不是从头训练所有视觉能力，而是借用互联网视频预训练，把生成模型中的世界知识迁移到机器人操作。

迁移时，团队先把通用视频生成模型微调到机器人领域，使其理解机器人指令和动作数据，再通过交叉注意力把视频预测网络与动作扩散策略深度融合。目标是把视频预训练得到的知识传入动作决策。

零样本演示中，机器人按指令用勺子把红色液体舀到蓝色碗里。即使没有该任务的示范数据，模型也能识别勺子并预测大致步骤；实际执行还不稳定，但少量微调数据就能让它快速学会。

零样本执行并不意味着完全成功：模型能理解“用勺子舀红色液体到蓝色碗里”，但动作还需要任务数据微调。已有大模型底座让少量示范就能带来明显改进。

团队还展示锤子敲钉子、螺丝枪打螺丝等工具使用任务，已超出简单抓取和放置。陈建宇认为，同一模型架构能覆盖上百种不同任务，显示出规模化学习的潜力。

Video Prediction Policy 通过迁移大规模视频生成模型，先学习通用视频知识，再把模型适配到机器人的指令与数据。团队随后将视频特征与动作扩散模块融合，使预测知识直接影响动作生成。

未来方向之一是统一理解、预测和行动：把视觉问答、图像理解、未来视频预测与动作生成训练在同一模型中，让一种能力提升可能帮助其他能力。陈建宇将其称为 UP-VLA。

UP-VLA 想把图像描述、视觉问答、未来画面预测和动作输出统一训练。陈建宇认为，这比 Gato 早期更有机会，因为如今可以借助预训练语言和视觉语言模型作为更强的起点。

他认为，Gato 早已提出统一多类能力的愿景，但当时架构和预训练模型不够成熟；现在可以在预训练好的语言模型、视觉语言模型上继续扩展，得到更强的统一系统。

另一条方向是强化学习。此前多数机器人基础模型依赖监督学习或模仿学习，陈建宇认为性能可能因此触顶；在线强化学习有机会让机器人通过试错继续提升策略。

团队尝试在冻结视觉语言主干后先训练动作头，再保存强化学习得到的成功动作，用监督微调恢复和训练主干。直接用标准 PPO 更新整个模型反而可能退化，因此还需要更有效的训练方法。

张小珺随后转向陈建宇的个人经历。他澄清网上一篇把他背景写错的资料并不准确：本科就读清华精密仪器系，课程横跨机械、电子和控制，本科毕业设计已做双足机器人控制。

陈建宇在精密仪器系接触机械设计、电子、控制和嵌入式系统，本科毕设研究双足机器人步态规划。之后赴美读博，前期做优化控制，后期转向机器人学习。

陈建宇读博后专攻机器人方向，博士前期研究模型预测控制和机械系统控制，后来在 AlphaGo 等进展之后转向机器人强化学习。机器人对他而言是一套软硬件相连的系统，控制算法必须与真实动力学结合。

他很喜欢端到端方法，因为感知、预测、决策和控制被拆成很多子系统时，分析与协同都更复杂。公司同时做大脑、步态控制和机器人本体，能够按系统方式协同设计软硬件。

陈建宇和张小珺谈到端到端的意义：模型越统一，跨感知、规划和控制的模块边界越少，系统分析也可能更直接。团队既做机器人“大脑”，也做步态控制和本体。

陈建宇也曾研究端到端无人车驾驶，但 2020 年毕业时汽车行业格局逐渐成形，而机器人涵盖更多本体、产业仍早期。他选择回国任教，也考虑到个人更希望做自由的研究、国内机会和疫情等因素。

他选择机器人而非继续做无人车，是因为当时无人车行业格局渐趋稳定，而机器人覆盖机械臂、四足和人形等更多形态，仍有更大的产业探索空间。

创业让他能把技术研究延伸到产品、制造和商业化。陈建宇做机器人已有十多年，看到许多成果仍留在实验室，希望亲自建设工程能力，把机器人真正带入现实应用，而不只是等待其他公司推进。

公司和高校课题组分工协作：公司承担工程化与产品架构，学生探索前沿 AI 方法；研究可以使用公司硬件和数据平台，工程也能吸收实验室的新进展。

星动纪元把业务划分为 to A、to B、to C。当前新型机器人首先面向高校研究者、企业研究团队和极客开发者，提供机器人本体与零部件；公司称灵巧手等产品已向国内外高校和企业批量销售。

公司目前面向早期创新者提供硬件和零部件，之后希望和制造、服务场景伙伴共同开发应用。产品路线并不是先等完整通用能力成熟，而是与实际需求共同迭代。

随着技术成熟，公司希望与制造业、服务业等场景合作方共同开发产品。合作方提供应用场景、数据和商业认知，团队再据此补齐能力、打磨适合实际流程的机器人。

制造企业可以提供产线场景和流程知识，具身智能公司也可能借助星动纪元补充硬件或能力。随着技术稳定、客户需求更清楚，产品才逐渐走向更成熟的商业模式。

陈建宇说，行业整体尚未成熟，但公司已有一版产品并会继续迭代。过去按单一场景定义机器人有商业价值，却难以规模化；目前机器人 scaling law 还只是有迹象，没有公认的突破时刻。

陈建宇认为，按具体场景设计机器人的上一代路线不一定无用，但它没有解决规模化问题。新路线的 scaling 目前只能说出现迹象，离验证出稳定规律、形成行业共识还有距离。

他不认为必须等到机器人迎来“顿悟时刻”才能寻找应用。能力提升可以逐步解锁机会，传统工业机器人智能很低也已形成市场；机器人任务有时只需某个动作达到足够水平，就能先在细分场景发挥作用。

机器人不必等到完全达到人类智能才产生价值。工业机器人即便几乎没有智能也能完成大量细分工作；新模型只要逐项提高动作能力，就可能沿途找到可用场景。

家庭场景要求很强的泛化能力，因此陈建宇认为先从 to B 更实际。相较语言模型，机器人可以在能力尚未全面达到人类水平时，先以单项能力改善生产流程，沿着技术进步逐步扩展商业应用。

陈建宇认为机器人进入家庭需要更高泛化能力，所以商业路线可先从企业场景开始。对于机器人而言，特定动作达到人类水平就可能形成应用，不必先解决所有语言和推理问题。

主持人最后确认创业是学术研究的产业延伸，陈建宇表示研发出技术是进一步探索商业应用的前提。节目以感谢收听和邀请听众留言结束。

张小珺将创业概括为高校研究向产业的延伸，陈建宇表示认同：先把技术研发出来，才能继续探索新产品和商业模式。主持人感谢听众收听节目，并邀请大家留言推荐嘉宾和话题。