2023 年的文生视频：Runway、Colab 与本地 Zeroscope 配置

文生视频开始出现令人印象深刻的示例。我将演示 Runway 托管的 Gen-2，以及使用 Zeroscope 笔记本在 Google Colab 或本地电脑上运行的另一种方法。本教程发布于 2023 年 6 月，产品访问方式、价格、依赖和可用模型可能已经变化。

我使用的界面显示，当时 Runway Gen-2 已公开提供，并有有限的免费额度。我输入“ducks on a lake”（湖面上的鸭子）并开始生成；屏幕显示还剩 82 秒，每生成一秒消耗五个积分。生成的四到五秒短片看起来像那么回事，虽然动作不多，而且一只鸭子似乎有两个头。

我提到 Runway 的一个付费套餐为每位编辑每月 12 美元，并介绍更高分辨率、去除水印和更短等待时间。这些是 2023 年界面的信息，并非当前价格或权益。我认为它优于其他工具，是基于自己看过的示例作出的判断，并非基准测试。

为了尝试另一种方法，我打开[文生视频 Colab 仓库](https://github.com/camenduru/text-to-video-synthesis-colab)，选择 Zeroscope v1.1 笔记本。运行第一个单元会安装依赖并克隆所需仓库。我使用相同的“ducks on a lake”提示词，负面提示词留空。

笔记本屏幕显示推理步数为 33、引导尺度为 23、每秒 30 帧、总计 24 帧。按照这个播放帧率，24 帧约为 0.8 秒。增加帧数可以让视频更长，但在我的测试中也会消耗更多内存，画面质量可能下降；Colab 可用资源也可能构成限制。

我运行生成单元并等待处理完成。完成后，打开笔记本的文件面板，找到输出文件并下载到桌面。在我看来，这段非常短的视频与 Runway 的示例相当，不过两者时长不同，不能构成受控测试。

本地安装时，我使用 Windows 和 Nvidia GPU。我建议使用隔离的 Conda 环境管理 Python 和库版本；演示中我创建了一个使用 Python 3.10.11 的环境。兼容性取决于工具、驱动和硬件的具体版本，因此应结合项目文档检查 2023 年的命令。

激活环境后，我安装 PyTorch 和相关软件包，克隆文生视频微调代码与模型，并安装仓库列出的依赖。然后运行检查脚本，确认 PyTorch、CUDA 的版本以及 CUDA 是否可用。

为了在本地生成，我运行 `inference.py`，传入模型路径和输出目录；如果目录不存在，就先创建。GPU 监视器显示任务正在运行。生成的“湖面上的鸭子”短片在我看来效果不错，但只有约一秒。

我发现当时长增加到约两秒以上时，质量明显下降。项目 Discord 社区的成员告诉我，模型使用短视频训练；我将此作为他们的解释，而非经独立验证的原因。他们建议我尝试另一个模型，但我还没有测试。

我又用 48 帧生成了一个示例，我称其约为两秒，效果仍然相当不错。在约三秒的示例中，鸭子开始出现和消失；更长的测试退化得更加严重。帧数、播放帧率、模型和硬件设置都会影响某次运行的结果。

还有多个模型和笔记本可以尝试，项目社区也能帮助配置。本地运行可以避免托管服务的单次生成配额，但合适的 GPU、处理时间和电力仍会消耗资源；Colab 可用性和模型许可证也各有限制。这些早期示例既展示了进步，也有明显的时长和一致性限制。