World Labs Marble：生成和编辑可探索的三维世界

World Labs 已推出 Marble：一个能够生成可导航三维环境的多模态世界模型。公司由李飞飞联合创办，将这种方法称为“空间智能”。我很兴奋，因为生成的场景不仅能作为平面图像观看，还能探索和编辑。

世界模型旨在重建、生成和模拟三维空间，让人或智能体与之交互。我能想到的用途包括游戏、电影和练习环境。模拟的工厂车间也可能用于训练具身智能体，不过如何将训练迁移到真实机器人仍是另一个挑战。

Marble 可以根据文本、图像、视频或粗略的三维布局生成世界，然后将结果导出为高斯泼溅、网格或视频。对我而言，编辑生成场景并保持世界连贯的能力，与最初的生成同样有趣。

李飞飞、Yann LeCun 等研究者认为，理解世界可能需要超越语言本身的方法。人类通过视觉、声音、触觉和语言共同体验世界；世界模型则试图以支持推理和行动的方式表示环境。

Marble 接收文本、一张或多张图像、视频或三维场景，生成一个三维世界。用户可以编辑或扩展它，再导出图像、视频、高斯泼溅或网格。生成的表示方式不同于 Blender 或 Unreal Engine 等工具使用的传统网格。

一张图像可以变成能够进入的场景；文本提示也可以描述场景，例如融合世纪中叶美式餐厅风格的空间站厨房。多张图像能提供不同视角：World Labs 展示了将办公室照片合成为一个可导航的三维空间。

编辑示例改变了已有房间：一条提示将后墙变成舞台，并用面向舞台的长凳替换桌子；另一条将乌龟变成老虎，把高大的植物变成薯条。这些例子展示了用户如何要求修改物体和场景的大块区域。

我还能想象用它预览厨房翻新：上传照片，生成三维环境，再要求换成黑色台面。粗略的三维布局也可以作为起点；演示通过简单几何形状和文本生成美术馆、客房卧室等场景。

在现场演示中，我打开 Marble，穿过一条霓虹灯照亮的走廊。细节令人印象深刻，但越往远处走画面越模糊，最终会到达生成区域的边缘。长期愿景是让系统随着用户移动继续生成世界。

你还可以走出生成区域，从外部观察它。在另一个示例中，我环顾太空舱，向外看一颗行星。这些例子展示了在生成场景内自由改变视角的吸引力。

我上传自己视频中的一张截图，让 Marble 重建我的办公室。系统只能看到图中内容，因此必须自行补出看不见的区域。处理期间，我浏览了类似社交网络的信息流、用于精细控制的工作室，以及免费方案和付费档位。

Marble 根据办公室图片自动写出描述性提示，包括家具和一块可能是 YouTube 奖牌的装饰。生成的世界与可见背景有些相似，却虚构了一台大电视和我家里并不存在的区域。这个演示同时呈现了单图重建的可能性与局限。

在工作室中，我可以移动、变换场景、将其公开，也能使用控制和扩展环境的工具。即使生成场景并不能忠实还原每个未见细节，Marble 已经是一款相当强大的创作产品。