跳转至

姿态骨骼控制

ControlNet 可以指定生成图像的姿势、深度信息、轮廓等信息,从而提高生成图像的质量。要使用 ControlNet,需要安装 Stable Diffusion 插件,并在插件中输入您想要生成的图像的描述和条件。

打开 WebUi 的扩展选项卡,选择第三个从链接安装的标签页,输入 https://jihulab.com/hunter0725/sd-webui-controlnet 拉取插件文件(请确定文件路径不包含中文)。

流程介绍

pose

操作中有两个流程:从样例图片生成 深度图/骨架/轮廓 控制网,和 以控制网为基准的再生成。

下面我们来配置这个插件

首先你需要从 https://huggingface.co/lllyasviel/ControlNet/tree/main/models 下载深度预测模型和骨架预测模型,用于从样例图片中提取控制网。对应模型放入 extensions\sd-webui-controlnet\annotator 的相应文件夹中以支持从样例生成对应产物的功能。

然后在 https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main 中下载控制网模型,将 ControlNet 模型(.pt.pth.ckpt.safetensors)放在 models/ControlNet 文件夹中,重启 webui。

关于控制图的注解

openpose 是指人体姿势的标注,depth 是指图像的深度信息,scribble 是指图像的轮廓或草稿,mlsd 是指图像的多边形分割。您可以使用这些条件来控制生成图像的形状、位置、角度等细节。您可以在插件中选择不同的条件类型,并用鼠标在画布上绘制或导入相应的数据。canny 指边缘检测,达成上色的效果。

控制网 样例图 控制网 生成物
* (no preprocessor)
* (no preprocessor)
canny 边缘检测上色
hed 预处理器边缘检测/创意
openpose 预处理器控制动作
depth 深度图控制画面结构

除此之外还有 MLSD 线段图还有 Scribble 手绘图。

使用 ControlNet

Use

在 T2I/I2I 面板底部打开选项卡,然后勾选启用(如果显存不够需要额外勾选 LowVram)。

然后选择对应的预处理器和控制网模型,然后上传样例图(推荐上传真人图片或 3D 模型)生成控制网。如果你已经有了骨骼图或者其他控制网,预处理器请选择 None 直接上传控制网。

然后在启用条件下就可以直接生成。

骨骼图可以自己制作!


最后更新: 2023年3月16日 07:27:00
创建日期: 2023年3月16日 01:14:29