用 Blender 和 ComfyUI 引导 AI 图像生成

摘要

30 秒看懂

在这期与 NVIDIA 合作的教程中，Matthew Berman 搭建 3D Guided Generative AI RTX 蓝图，演示如何通过 ComfyUI 和 NVIDIA NIM 利用 Blender 几何形状与提示词引导图像生成。他介绍了前置组件的安装、工具连接，以及对象和提示词的调整。演示生成的是由三维几何形状引导的二维图像，而不是带纹理的三维场景。

1场景引导的图像工作流NVIDIA 参考蓝图通过 ComfyUI 和 NIM 将简单的 Blender 几何形状与图像生成连接起来。NVIDIA 与 Berman 合作制作了本教程，并征求反馈。
2一个布局，多种外观Berman 把村庄提示词从雪景改成现代和卡通风格，然后加入一艘船并改变视角。每个输出都是根据场景和提示词生成的图像。
3硬件与许可画面展示的 2025 年要求列出了特定 RTX GPU，并建议配备 48 GB 系统内存。所展示的 FLUX.1-dev 条款仅限非商业用途，各组件的许可有所不同。
4下载与连接创建具有读取权限的 Hugging Face 令牌并接受模型条款，克隆蓝图、运行安装程序，再将生成的路径填入 Blender 插件偏好设置。
5在提示词中指出对象如果提示词仍在描述喷泉，场景中的船可能会被渲染成船形喷泉。在提示词中描述游艇可以引导输出呈现所需对象。

要点建议

Blender 几何形状提供构图和空间引导，提示词则描述所需的外观和主体。
修改提示词即可将同一个村庄布局变成冬日照片、未来场景或卡通画面。
演示的输出是生成图像；换一个镜头角度需要重新生成，也不能保证视觉一致性。
2025 年的演示列出了特定 NVIDIA GPU，并建议配备 48 GB 系统内存；当前要求请查阅最新文档。
蓝图中的组件各有许可：FLUX.1-dev 模型权重采用非商业条款，商业使用前应检查模型及组件许可。
本地运行所演示的工作流之前，必须先下载模型并设置访问权限。

主题Generative media 视觉与视频 Local inference Creativity

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

用三维场景引导图像生成

Berman 介绍 NVIDIA 的 Blender 和 ComfyUI 蓝图，披露与 NVIDIA 的合作，并改变村庄场景的外观。他演示了添加对象和改变视角如何影响生成图像。

我可以在 Blender 中布置一个简单的三维环境，再用 ComfyUI 引导图像生成模型，改变场景外观，并补充几何形状中没有的细节。NVIDIA RTX 3D Guided Generative AI 蓝图是一个围绕 NIM 微服务构建的参考项目。三维场景负责引导构图；所展示的结果是一张生成的二维图像，而不是自动添加纹理的三维世界。

NVIDIA 与我合作制作了这期教程：团队希望有一份分步安装指南，也希望得到大家对项目的反馈。开发者可以查看这个项目，并以它为起点继续开发。虽然我在视频中说它完全开源且免费，但各组件的许可有所不同。尤其是画面展示的 FLUX.1-dev 模型条款仅限非商业用途；任何商业使用前都要检查模型和代码仓库的许可。

幻灯片 1 / 6村庄几何布局与冬日图像场景布局引导生成一幅以喷泉为中心的雪中村庄图像。

我的第一个例子是一座小镇，广场中央有一座喷泉。提示词要求生成一张专业照片：冬日里一座古朴的山中村庄，喷泉上覆盖着雪。我修改提示词，把相同的布局变成超现代风格，然后再生成卡通风格。几何形状提供布局，文字引导画面的视觉处理。

接着，我在中间放入一艘船的素材，并稍微修改提示词。由于底层布局是三维的，我也可以旋转视角，从俯视角度生成图像。不过，每个视角都是单独生成的，因此演示并不能证明不同角度的细节会保持一致。

硬件与前置组件

演示列出支持的 GPU，随后安装 NIM 前置组件、Git、Visual C++ 和 Blender。Berman 还创建 Hugging Face 令牌并接受模型条款。

幻灯片 2 / 62025 年硬件和许可信息画面中的要求列出支持的 GPU，建议配备 48 GB 系统内存，并提示模型的非商业条款。

代码和安装说明都在 [NVIDIA 蓝图代码仓库](https://github.com/NVIDIA-AI-Blueprints/3d-guided-genai-rtx)。2025 年的画面列出 RTX 5090、5080、4090（包括笔记本版本）、4080 和 RTX 6000 Ada GPU，并建议配备 48 GB 系统内存。硬件支持可能变化，请查看仓库中的最新要求。画面还提示了模型的非商业条款；详情请参阅 [FLUX.1-dev 模型许可](https://huggingface.co/black-forest-labs/FLUX.1-dev)。

首先从说明页面下载 NIM 前置组件安装程序。运行 Windows 安装程序，接受协议，让它安装所需的 AI Workbench 组件。画面中的说明还包含管理员权限提示和重启步骤；请按适用于自己系统的最新安装说明操作。

幻灯片 3 / 6前置组件安装说明文档列出了 Windows 工作流所需的安装组件。

接着，在 PowerShell 中用 `winget install --id Git.Git` 安装 Git，用 `winget install Microsoft.VCRedist.2015+.x64` 安装 Microsoft Visual C++。如果已经安装了这些组件，安装程序可能会显示相应提示。还需要下载并安装 Blender。

工作流使用 FLUX，因此要创建一个具有读取权限的 Hugging Face 访问令牌。安装说明列出了所需模型的页面：下载前逐个访问并接受条款。令牌要妥善保密。这些下载需要联网；Berman 说，之后演示的生成过程可以在本地运行。

在 Blender 中设置蓝图

他克隆代码仓库并运行安装程序以下载模型，然后配置插件路径、打开提供的 Blender 文件并连接 ComfyUI。

把 NVIDIA 蓝图代码仓库克隆到想要的位置，进入新目录并运行 `setup.bat`。请留出下载时间：它会获取大量模型数据。安装完成后不要关闭窗口，因为其中显示了 Blender 所需的 ComfyUI 和 Python 路径。

在 Blender 中打开 Edit → Preferences → Add-ons，启用 ComfyUI Blender AI node 插件，然后粘贴安装程序提供的 ComfyUI 和 Python 路径。接着打开提供的引导生成 `.blend` 文件。Berman 说自己是 Blender 初学者，通过练习和观看教程，这个界面会变得更容易上手。