在 Google Colab 中用 WarpFusion 为视频重新设计风格

原标题Using WarpFusion to Restyle Video in Google Colab

Matthew Berman 讲解 2023 年通过 notebook 将扩散模型风格应用于现有视频的流程,随后展示较新版本的设置和预览。

MBMatthew Berman讲者 · Forward Future
频道
Matthew Berman
发布
2023年6月6日
视频
6:52
阅读
4 分钟
幻灯片
3
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

在这期 2023 年 6 月的教程中,Matthew Berman 演示了当时在 Google Colab 中使用 WarpFusion 的流程:上传 notebook 和源视频、挂载 Google Drive、选择模型权重和提示词,再运行耗时较长的渲染。他在同一视频的后续补充中介绍了较新的界面、其他模型、ControlNet 设置和预览。文中描述的价格、notebook 版本和云服务可用性均以演示时为准。

  1. 1视频风格转换Berman 通过对源视频应用生成视觉风格的例子介绍 WarpFusion。
  2. 2Colab 设置他介绍 2023 年 notebook 和云服务的费用,并指出本地安装是另一种方式。
  3. 3连接 Drive 和输入素材他挂载 Google Drive、上传源视频、选择尺寸并提供模型权重路径。
  4. 4提示词与渲染他输入风格提示词并运行 notebook,提醒处理可能需要数小时。
  5. 5较新版 notebook 功能补充内容介绍图形界面、其他模型、ControlNet 和结果预览。

要点建议

  1. 演示中的流程使用文字提示词和扩散模型权重,为已有的输入视频重新设计风格。
  2. Berman 选择 Google Colab,而不是步骤更多的本地安装,并介绍了 2023 年可用的付费选项。
  3. 上传视频并在 notebook 中指定视频和模型权重路径,是设置的核心步骤。
  4. 更高的输出分辨率需要更多显存,演示中的渲染可能需要数小时。
  5. 视频中的较新 notebook 版本提供设置界面、ControlNet 选项和中间预览。
全文

按章节阅读整理后的全文

只看原始文稿
01

选择 WarpFusion 的设置方式

Berman 介绍视频效果,比较 Colab 与本地安装。他说明自己 2023 年使用的付费 notebook 和 Colab 选项。

Matthew Berman 通过展示风格化视频介绍 WarpFusion,并解释如何制作类似效果。虽然视频标题使用了“文字生成视频”,但演示中的流程是利用文字提示词和图像生成模型,为已有视频重新设计风格。

他说 WarpFusion 可以在本地或通过 Google Colab 运行,他选择 Colab 来演示。他介绍自己在 2023 年 6 月通过创作者 Sxela 的 Patreon 花费 10 美元获取 notebook,并使用每月 10 美元的 Colab Pro 账户;他说本地设置可以避免 Colab 费用,但需要更多工作。这些是他对当时情况的描述,并非当前价格或要求。

02

准备 notebook 和素材

他上传 notebook、挂载 Drive 并添加输入视频,然后设置输出尺寸和模型权重。

Berman 从 Sxela 的页面下载 notebook 文件,打开一个新的 Colab notebook 并上传 .ipynb 文件。他指出其中包含大量代码、更新说明、本地安装指南,以及单独提供的逐步操作说明。

在 notebook 的文件夹准备部分,他运行挂载 Google Drive 的单元格并授权访问。连接 Drive 后,他通过文件面板上传源视频。连接硬盘后,notebook 可以在授权范围内访问文件。

notebook 输出尺寸设置
幻灯片 1 / 3notebook 输出尺寸设置Berman 展示基本设置,可以根据可用显存调整输出尺寸。

在设置部分,他选择 1280×720 的输出尺寸,并提醒更大的尺寸可能耗尽可用 GPU 显存。他将上传视频的路径复制到视频输入设置,让 notebook 知道要处理哪段素材。

他从 Hugging Face 获取模型权重,上传到 Google Drive,复制对应路径并填入 notebook 的模型设置。视频链接指向 Stable Diffusion 1.4 原版权重;模型的可用性、兼容性和许可条款取决于所选权重。

03

输入提示词并渲染

文字提示词指定所需的视觉风格。notebook 运行处理流程,他说这一过程可能需要数小时。

文字提示词部分决定期望的画面外观。Berman 将默认内容替换为一段详细的龙人提示词,然后选择 Runtime 和 Run all。他说处理可能需要数小时,建议保持标签页打开;运行时间和会话行为取决于具体环境。

04

较新的控制选项与预览

Berman 补充介绍较新版本、模型选择、ControlNet 和保存的设置。他说明如何根据预览调整设置,再创建视频。

发布教程前,Berman 发现自己使用的是较旧的 notebook 版本,因此补充了一段更新。他说新版本包含更多功能和图形化设置界面。他还演示如何在 Civitai 寻找其他风格模型并将文件放入 Drive,前提是它们与该流程兼容。

WarpFusion 图形控制界面
幻灯片 2 / 3WarpFusion 图形控制界面较新的界面提供提示词、负面提示词和采样设置。

较新的界面提供提示词、负面提示词和步数安排,还提供可以针对不同源视频启用或关闭的 ControlNet 设置。Berman 鼓励尝试不同选项,因为它们会明显改变最终画面。

用户可以将保存的设置文件放入 Drive 并加载到 notebook,无须每次重新输入所有设置。Berman 还解释,渲染可以在整段视频完成前显示中间预览。

如果预览不满意,他建议更改设置并重新运行相关步骤。风格达到预期后,使用 Create video 步骤合成输出。他随后展示 WarpFusion 社区的例子,并指出设置会影响不同视频帧之间的一致性。

预览与创建视频的控制项
幻灯片 3 / 3预览与创建视频的控制项notebook 展示运行视频帧和合成渲染视频的控制项。

Berman 鼓励观众多加尝试,并向社区中的其他人学习。这份演示记录了 2023 年的 notebook 和服务情况;后来的版本、订阅条款和界面可能有所不同。

同频道的其他文章

12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
0:26EN → 简体中文
Matthew Berman· 2026年10月25日Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中,Altman 思考解决难题的乐趣,以及人在解读结果时的作用。Human-AI CollaborationFuture of WorkAI Strategy
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
2 张幻灯片0:21EN → 简体中文
Matthew Berman· 2026年10月24日AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表,随后发现图中的数字只是示意性占位值。Benchmarks评估Generative media
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
Matthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1