王鹤：具身智能的研究历程、数据与产业化

张小珺采访北京大学助理教授、银河通用创始人王鹤，讨论具身智能的研究脉络、机器人数据和产业化挑战。

王鹤区分语言、视觉和智能：他把智能理解为根据情况对环境作出反应的能力，认为语言是人类智能发展的重要跃变，但不是智能存在的唯一形式。

他回忆研究社区对 embodied agent 和 embodied AI 等术语的使用变化，并强调这些词在不同研究传统中并不完全相同。

他对比传统工业机器人对控制精度、重复性和可靠性的关注，以及具身智能研究对感知与行动结合的关注。

他用从简单动作到复杂人类决策的例子，说明自己认为与环境互动可以有不同维度和时间尺度。这是一种概念框架。

回顾学术发展时，他说导航曾是一个重要任务：智能体移动后看到新的画面，由此形成感知和动作的循环。

与改变相机位置相比，抓取和操作还会改变环境中的物体，并引入更复杂的物理接触。

他回忆研究社区通过任务、数据集和竞赛推动视觉导航，同时也有其他团队并行研究抓取等问题。

谈到自己的博士经历，他回忆早期研究人类视频和物体交互，也经历过对研究方向不适应、调整课题和等待成果的困难。

他描述一个实验性杯子演示：系统根据从视频学习的交互信息移动到合适的位置。演示说明研究思路，不等于通用家庭机器人已经实现。

他反思自己从物理建模转向机器学习的过程：模型、实验数据和研究方法都发生变化，也需要重新学习团队所需的技能。

他坦言博士初期的编程和研究经历并不顺畅，后来逐渐找到更适合自己长期投入的问题。

他介绍物体位姿估计：系统需要判断物体相对于参考坐标的位置和方向。进一步泛化到不同物体时，数据收集和标注成为挑战。

为了研究数据不足的问题，他回忆用相机采集室内桌面场景，再将数字物体渲染到这些环境中，构建混合数据。

回国前后，他考虑过不同研究路径，最终继续围绕家庭和实际环境中的机器人问题开展工作。

他认为机器人软硬件会相互影响：硬件不可靠会限制算法落地，算法能力不足也会影响硬件的实际价值，需要逐步共同改进。

他强调实际任务和边际成本：如果每个新任务都要从头大量采集数据，系统可能难以扩展。

谈到银河通用的轮式机器人，他说客户关注能否可靠完成工作，而不只是外形。公司对运行时长和性能的描述属于受访者自述。

他讨论视觉语言模型与语言模型的数据差异，并认为机器人动作数据更难收集。不同模型的表现应按具体任务和评测判断。

他警惕两种产业化困难：长期无法进入实际场景，以及部署后每增加一个任务都无法降低边际成本。

王鹤用“生产力即产品”概括自己的目标：机器人需要在具体场景中稳定完成有价值的工作，而不是只展示能力。

谈到数据，他说团队大量使用合成数据，真实数据只占其所述训练数据的一小部分。这是该团队当时的做法，不应推广为所有系统的最佳比例。

他认为一些视觉和抓取任务可以从仿真迁移到现实，但迁移效果取决于场景、材料和验证；合成数据不必然消除现实差距。

他也指出系鞋带等涉及柔性物体和复杂接触的任务仍有仿真困难。能否完成一项任务，需要在具体条件下测试。

讨论资本和演示时，他呼吁清楚标明遥操作与自主能力，避免让观众误解机器人实际完成了什么。

他认为高质量仿真数据管线需要持续投入，不能只做一个概念验证就假设系统已经能高效运行。

他从人口老龄化和劳动力需求出发讨论机器人潜在用途。这些需求规模和技术发展速度仍需独立验证。

谈到人形机器人，他认为对全身控制和生物运动的理解仍有限，具身智能有长期研究空间，不应把近期演示视为问题已解决。