藏师傅手把手教你把实拍照片变成黑神话悟空风格的视频

昨天在研究 FLUX 的过程中整了个活，想看看能不能把现实的古建筑照片变成黑神话悟空游戏风格。

没想到整出来了而且效果还不错，如果你还没看过的话可以看一下。

同时在推特、微博和 Reddit 上的反馈也都不错。

很多朋友希望我出个教程，所以今天就教一下大家这个是怎么做的。

主要分为三个部分：

1. 使用 FLUX 将图片转换为黑神话悟空风格，并处理
2. 用可灵或者 Runway 将图片转为视频
3. 用剪映剪辑为视频

所有用到的模型文件和工作流下载地址都在最后。

转换图片风格

Comfyui工作流讲解

比较麻烦的部分来了，我们需要一个 Comfyui 环境，本地的话起码需要 4090 级别的显卡，所以还是推荐使用云服务。

我会按照我本地的工作流讲解关键的部分，但是你可以根据几个核心的模型和参数调整实现方式，不一定需要用我的这个流程。

首先是 FLUX 模型的选择，由于 FLUX Dev 模型完整的 fp16 格式本体起码需要 32G 显存才能运行，所以大家现在基本都用的 FP8 量化的 FLUX 模型。

但是在 ComfyUI 中使用 FP8 模型和 Lora 的时候有个问题，FP8 模型本体和 FP16 格式的 lora 不兼容会导致显存爆炸。我这里使用了 GGUF 量化的 FLUX 模型来解决这个问题。

基础的 FLUX 模型由三部分组成，你需要将 fp8 的 T5 模型以及 Clip-L 模型放到 Comfyui 文件夹的 modeels/clip 文件夹中，然后将 GGUF 格式的模型放到 modeels/unet 文件中，VAE 模型放到 modeels/vae 文件夹就行。

然后是两个 Lora 的部分，主要的 Lora 我使用了《黑悟空 3A 场景画风》这个 Lora 来完成对画面风格的转换，但是在使用 Controlnet 的时候生成的图片中建筑细节非常差，而且图片很糊。

所以我又加上了我前几天自己训练的摄影风格 Lora 补救了一下，让生成的图片更有质感，而且建筑细节的问题也被修复了。

两个 Lora 文件就正常放到 modeels/lora 文件夹就行。

两个 Lora 的权重分别是 0.7 和 0.4，你也可以稍微调整一下看看效果。

然后是两个主要的输入项，提示词我主要是黑风山、黄风岭以及小西天三个风格，都放在了工作流左边的笔记那里了，可以按需复制和改动。

输入图片的话就用你自己准备的就行，需要注意的是由于需要符合黑神话悟空的氛围，推荐尽量使用有古建筑的照片，或者干脆没有现代建筑的风景照片，尽量避免全是正体集合的高楼大厦，效果会很差。

右边参数这里需要动的只有空 Latent 的图片宽高，推荐比例最好跟你输入的图片一致。其他参数是参考推上一个大佬的真实感最强的参数方案，由于 Lora 原因我把 FLUX 引导改为了 3，他的原始参数是推荐 0.2-0.4.

如果你们有自己的合适的参数的话也可以改。

然后是 Controlnet 模型的设置这里我用了 InstantX 的 Depth 模型，Canny 的话过于约束建筑细节了，会把很多现代元素还原到图像里。

Depth 模型放在 modeels/controlnet 文件夹就行，权重我给了 0.5 太搞也会对画面有影响。

图片生成之后如果 1024 分辨率的细节不满意的话可以走一下放大流程，现在的图片放大工具很多了就不再赘述，我自己是偷懒用 Magnific 放大的。

生成视频

我们有了图片之后就可以用图片生成视频了，用 Luma、可灵、Runway 都可以哪个视频模型的效果好就用哪个就行。

我具体的视频提示词很简单，就是描述一下运镜类型，然后描述一下画面中需要动的部分就可以。

剪辑包装

剪辑这里我也是个新手菜鸡，平时就用剪映应付，这里主要是想讲一下很多人问的，两张图片过度的动画怎么做。

首先要注意在时间轴上把素材图放在生成图的上方，同时把表示播放进度的线拖动到时间轴开始的地方。

然后选中上方的素材图，右侧 tab 切到蒙版部分，将旋转改为 90 °，在位置右侧的菱形◇图标点一下，然后把预览画面的蒙版区域拉到最左边。

之后把表示播放进度的线拖动到时间轴你希望动画结束的地方，把蒙版预览的线拖动到预览画面最右边，在位置右侧的菱形◇图标再点一下。

然后可以预览看看，动画应该就做好了。其他部分就都是很基础的使用了，开整吧家人们。

模型& 插件&工作流下载

GGUF 量化 FLUX 模型：https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main

两个 Clip 模型：https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

VAE 模型：https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.safetensors

黑神话悟空场景 Lora：https://www.liblib.art/modelinfo/886956536e5a4272b6780ff9ce0d83be?from=feed

灰色简洁照片风格 Lora：https://www.liblib.art/modelinfo/e74abc022540492284f153fad54b3e07?from=personal_page

InstantX FLUX Depth Controlnet 模型：https://huggingface.co/Shakker-Labs/FLUX.1-dev-ControlNet-Depth

GGUF插件安装：https://github.com/city96/ComfyUI-GGUF?tab=readme-ov-file

工作流下载：https://pan.quark.cn/s/062a6330b5b4

创作探索不易，如果觉得有用的话可以分享给你需要的朋友，谢谢各位。