原本要拍几个月的机械臂镜头，如今收进了一条提示词里

Waymark 的创意总监 Stephen Parker，也是本期《The Cognitive Revolution》的联合主持人之一。他用图像和视频生成工具积累了 Nathan Labenz 所说的、足足 10,000 小时的经验，一路可以追溯到最初的 DALL-E。Parker 把 Luma 的 Ray 2 看作工具组合中的一个：不同模型各有所长，在他实际使用的工具里，Luma 偏向电影感的那一端。他的开场判断是，如今越来越多的图生视频都从 AI 静帧开始，因为静帧更便宜，也更容易反复调整。Jain 同意。你可以先生成一百张图，挑出与脑海中画面相符的那张，然后才付出制作视频的成本。

接着，Parker 追问那些古怪的例子：牛油果椅子、泡菜人、从未存在过的角色。Jain 指出，关于一根泡菜先站起来、再坐到牛油果椅子上，根本没有训练数据。唯一的出路，是一个足够强的基础模型：它把椅子、坐下和拟人化当作彼此独立的概念来理解，并能将它们重新组合。这些系统并非在记忆行为，而在提炼核心能力：什么是坐，什么是椅子，什么是拟人化。基础越扎实，当请求完全位于分布之外时，模型就越稳定。

Parker 还注意到，如今的图生视频能把源画面的质感带到更长的生成片段里。Jain 的回答是，其中很大一部分仍然是一套系统，并非裸模型。额外的机制试图理解图像里有什么，这些额外部件就是拐杖。第一代 Dream Machine（后来追认为 Ray 1）需要很多拐杖来解析运动和词汇。他说，Ray 2 连这套堆栈的 10% 都不需要。但用户会把新模型推向新的任务，于是拐杖又回来了。Ray 2 的角色一致性仍然大多靠外部实现；在设计 Ray 3 时，他们希望把它放进模型内部。

这种模式是整个行业共通的。应用层公司在现有模型外面包一层，去解决某项任务；下一代基础模型会把这项任务吞掉。Jain 的经验法则是：凡是能在模型内部完成的事，都会比在模型外部完成的事做得更好。他举了 AI 文案公司 Jasper 的例子：产品很聪明，但语言模型一旦把同样的技能内化，外层系统就消失了。在用户的意图和潜空间之间，他称之为“血脑屏障”。人们要求可控性，实际上是想穿透这道屏障，把自己想要的东西直接告诉潜空间。

照这个说法，思维链（chain-of-thought）也是同一种做法的另一个版本。Jain 引用了 Anthropic 最近的一篇论文，认为模型打印出来的文字，可能是在为潜空间播种，并非它思考过程的忠实记录。语言模型的实验室已经学会：如果能让模型擅长结构化输出，就不必从外部强行约束 JSON，智能体（Agent）正是这样出现的。多模态也会重复这一套路：在一个模型内部，把音频、视频、语言和图像一起推理，输出就会比任何外挂的工作流都更丰富。

Jiaming Song 表示同意。与模型协作，应该像与人合作：你不必去编程同事的大脑。如今的视频模型仍然需要被告知，这是一个图生视频的任务，那是一个关键帧任务。更聪明的模型会直接接收请求，甚至不会把这些当成不同的任务。镜头运动就是一个具体的例子。Ray 1.6 已经有这个功能，但不好控制，质量也较低。Ray 2 的 Bolt Cam 不需要用户指定相机外参就能工作。下一步，是在“给我一个 Bolt Cam”和“这是精确的坐标”之间，做到可交互编辑：更快一点、更慢一点、换个角度、换个主体。

如今作为 Ray 2 概念发布的 Bolt Cam，与《Severance》第二季在 Apple TV+ 上开场用的，是同一种手法：那是一个制作团队花了好几个月才拍成的机械臂镜头，并成为病毒式传播的惊艳时刻。Parker 说，它已经在概念库里，任何生成视频的人都能用。Jain 说，视觉模型仍然缺少上下文学习（in-context learning）的能力，而语言模型正是靠它，只看几个示例就能模仿风格。创作者仍需要教会模型一种运动、一种调色或一个姿势，而这些在网上找不到，也无法大规模合成来训练 LoRA。微调和 LoRA 还往往会损害模型原本已经掌握的东西。

Luma 的答案是 Concepts，它通过一个名为 Concept School 的工具来教学：把模型送去上学，由用户来当老师。模型从一个到几个示例中学习，不会像微调那样让既有能力退化，而且概念可以组合。Bolt Cam、推轨和反向推轨，都是用极少的示例这样教会的。新的批次计划每周发布。目标是用这种方式把电影制作的所有知识都教给模型，然后再把教学的能力开放给用户。Jain 说，它仍然很挑剔，所以还没有向所有人开放。

概念的选择是一场双向的押注。一边是每天被使用成千上万次的日常叙事工具：跟拍一个镜头、向左移动、向右移动。另一边是普通人根本拍不出来的镜头。一个顺滑的 Bolt Cam，要拍好，实际上需要机器人。MKBHD 有一台，James Cameron 大概有好几台，而大多数人一台也没有。那就把它放进模型里。客户是讲故事的人，或是想成为这类专业人士的人。

Jain 说，Luma 的使命是多模态通用智能。语言模型的智能，看起来像人类的抽象思维；多模态智能，则像是摆在你面前的一个世界：物理属性、物理现象，以及通过相互作用而增加熵的智能体。人们说“世界模拟器”，他觉得“模拟”一词太弱了。它是一个世界模型，是外部宇宙的物理呈现，是一个苍白的复制品，一种近似。讲故事在这条路上并非旁支。逼迫智能系统去做梦、去玩耍、去偏离规则，才能得到智能，而非一套程序。

一个人讲故事讲得好不好，也就是事件 A、然后 B、再然后 C，每一步都是上一步的结果，用 Jain 的话说，这是衡量智商的一个很好的指标。视频模型正处在这条路上。把视频、音频和语言结合起来，它们就成了想象中的伙伴。AI 先帮上了创意工作，这与过去的预测相反：当时人们以为机械劳动会最先被自动化。创意工作恰恰是需要智能的地方。艺术对 AGI 的意义，就像它一直以来对通用思维的意义那样。

Labenz 提出了 AGI 最显而易见的反对意见：如果你想让机器人泡咖啡、吸玩具，那模型为什么还要学会龙？Song 把答案分成两部分。短期来看，一个更真实、更少幻觉的模型，对家务这类实体工作更有用。但也要考虑把印着龙的衣服捡起来、放进洗衣机。如果模型没有龙的概念，它就做不到。龙由蜥蜴的身体、爬行动物的鳞片，加上蝙蝠和鸟的翅膀组成，是人类用现实世界的部件进行的分布外生成。虚构对实体任务依然有用。

从长远看，模型应当知道自己正在哪个世界里行动。智能体已经生活在不遵循物理规律的虚拟世界里。未来的机器人应该先处理那件龙图案的 T 恤，然后走到电脑前回复一封邮件，就像人一样，在实体世界、想象世界和虚拟世界之间切换。这不应该为每个领域都需要一个专门的模型。有人问，可解释性研究能否找到分别对应写实物理、魔幻现实主义和《我的世界》的独立特征，Song 说他并不是这方面的专家。要找到那个神经元非常困难，让模型直接去完成任务反而更容易。目前最先进的深度估计，常常也是从这些预训练的生成模型出发的。他说，人类神经元与模型神经元之间的 API，目前还没有焊接得那么牢固。

Parker 并不相信视频模型理解 3D。也许它们只是在二维像素运动学上越来越好，他认为训练配方里并没有三维脚手架。Song 用图灵测试做类比：这个测试并不问模型内部是否使用人类的语法。如果与它交谈的感觉像在和人说话，那它就通过了。同理，预测一个物理上一致的场景接下来几秒，也未必意味着内部知识和物理学家的一样。从实用角度看，这依然可以算通过了视觉生成版的图灵测试。

Jain 说得更远：人类可能也并不具备真正的三维感知。他说，立体视差在大约 20 厘米的距离上就消失了。单眼蒙上眼罩，人照样能开车；近距离抓取会更难，但大脑还有手和本体感觉可以配合。很难说大脑维持着一个显式的三维表征。那么，只要输出看起来前后一致，为什么非要在生成模型内部放一个网格呢？

接下来是几个类比。飞机会飞，但它们不扑翅膀。鸟和飞机都能产生升力，机制却不同。洗碗机没有手，碗照样洗得干干净净。人形机器人的动作本来就和我们不一样。人脑是一块功率 20 瓦的有机组织，而这些模型运行在吉瓦级的集群上。机器并没有必须像我们那样思考的道理。Jain 认为，一心想让机器像人一样思考、像人一样可以被解释的人，既限制了机器的能力，也浪费了研究者的时间，这些时间本该投入到扩大注意力机制的规模和设计更高效的学习方式上。

Labenz 承认 AI 不必像我们一样思考，但他追问 Golden Gate Claude：把一个概念方向隔离出来并调高，这不只是玩具。他曾想知道 Luma 的 Concepts 是不是同一种技巧，即在潜空间里注入动漫风格或《玩具总动员》。Jain 把两件事区分开：一种是把模型当作黑箱，对它做经验性实验；另一种是指望得到一个连贯、人类可读的解释，说明它如何运作。量子力学完全无法直观解释，但它的测量结果能精确到 6、8，甚至 23 个西格玛。他说，这种规模的模型，人脑根本无法把它们完全理解。

Golden Gate 式的研究就是考古：把已经形成的东西拼凑起来。在物理世界里，考古是我们唯一能做的事。而在这里，团队亲眼见证了模型这颗“星球”的形成，以及它经历的所有漫长岁月。这就叫训练。更好的做法是去理解数据和训练动力学。团队内部做了大量的信息论分析：高频细节与低频细节分别去了哪里，哪些是早期学会的、哪些是后期学会的，何时该调整课程。其中一个发现是，信息论意义上的通路，在最初的 20,000 到 30,000 次迭代中就已经定型。早期训练就像一片均匀的玉米地，行人踩出小路，也会留下麦田怪圈。那个阶段的数据配比和学习率方案，很大程度上决定了后面的许多东西。后期训练主要是强化或撤销这些路径。

Labenz 问他们是否手工搭建训练批次。Jain 说，这种理解过度解读了。他们走的是另一条路：大规模的策展和过滤。训练一个好模型，并非把数十亿条垃圾样本扔给它，然后指望它自己悟出来。应该大规模地给它看你想要的好例子。Song 又补充了一个理论上的难题：训练默认假设样本是从某个世界分布中独立同分布（i.i.d.）地抽取的，但这样的分布是否定义良好，并不清楚。语料库中该有多少英语，无法从说话人口的规模推导出来。诚实的方法是经验性的，而且他说，非常混乱。

Labenz 请 Song 简短地讲一讲扩散模型的思想史。2015 年 ICML 上 Sohl-Dickstein 的论文写下了前向与反向过程，在 MNIST 上做了实验，却没有受到重视。生成对抗网络（GAN）只需一步就能生成，效果看起来更好。2020 年 Jonathan Ho 和同事的 DDPM 论文，让扩散模型在效果上能与 GAN 一较高下，而且——对实践者来说这才是最大的奖励——训练稳定。你可以启动一个训练任务然后去睡觉。GAN 则可能毫无征兆地崩溃。采样很慢，大约需要一千次网络计算，但因为稳定性太宝贵，大家都能接受。做过 GAN 相关工作的 Song 称，DDPM 是第一个既稳定又高质量的方法。

他自己的 DDIM 论文把采样提速了 20 到 50 倍。斯坦福的同实验室伙伴 Yang Song 把时间步连续化，将扩散模型与 1980 年代的 Anderson 随机微分方程和去噪分数匹配联系起来。OpenAI 用 ImageNet 训练了带分类器引导（classifier guidance）的模型。无分类器引导（classifier-free guidance）也出自 Jonathan Ho，它用贝叶斯公式，以同一模型的条件与无条件分支取代了单独训练的分类器。2022 年初，OpenAI 推出 GLIDE，随后是谷歌的 Imagen，再是 Stable Diffusion 与开源浪潮。此后，领域的注意力分散到质量、视频和效率上。

Song 认为，生成算法有三项标准：样本质量高、训练稳定、采样快。GAN 败在稳定性上，扩散模型败在速度上。渐进式蒸馏（progressive distillation）同样出自 Ho，它能把步数一再减半，但实现起来很麻烦。2023 年初的一致性模型（consistency models）目标是单阶段、一步生成；实践中，从预训练扩散模型出发的一致性蒸馏胜出了，因为单阶段一致性训练并不稳定。基于 GAN 的蒸馏在步数极少时看起来可能更好，但稳定性较差，老的权衡又回来了。

归纳矩匹配（Inductive Moment Matching）是 Song 的最新工作，它想同时满足这三项标准。它把一致性模型从逐点匹配推广为分布层面的匹配：不必复现某一条单独的轨迹，只需让分布对齐，约束因此放宽了。其数学基础是最大均值差异（maximum mean discrepancy），这在统计学里至少有十五年的历史。判别器是再生核希尔伯特空间（reproducing kernel Hilbert space）中的闭式函数，因此不需要在内部循环里训练一个神经网络判别器。消融实验的结论很直接：一个样本，即退化的一致性情形，并不稳定；两个样本好一些，但仍会崩溃；四个或更多，训练就能稳住。这就是他们的单阶段方案：同时兼顾质量、速度与稳定性。

被问到多模态会走向何方，Jain 说，这个话题是公司的根基，一集节目根本装不下。他的简短版本很犀利。人们目前所认为的多模态，其实并非那么回事，它们只是经过微调、能处理图像、音频和视频的语言模型。这对语言模型原本就在做的事有帮助。但在物体识别、分割，以及追踪长链条的因果关系上，它们仍然输给专门的计算机视觉模型。设想一下，如果语言模型在理解语言上仍然输给 RNN，那就说明这条路线是错的。

他说，这种把 token 拼成一袋的做法非常有帮助，但领域必须超越把一切都改装到语言骨干网络上的思路。Luma 的赌注，是一个统一的单一潜空间，把每种模态都视为同一种信号。自然界并不区分视频、图像和音频：它们是同一环境里的信号，是同一个动作的不同侧面。他说，业界大多数人在这一点上都看得不远，这有其充分的理由，因为语言方面仍有大量工作要做，人们也应当继续做下去。要解决多模态问题，仍需要一条新路线，而这正是他们在走的路。