ControlNet 1.1 与 ControlNet 1.0 具有完全相同的体系结构,ControlNet 1.1 包括所有以前的模型,具有改进的稳健性和结果质量,且增加并细化了多个模型。
命名规范
项目名+版本号+标识+基础模型版本+功能名+文件后缀名
-
control
官方总是以control
为项目名,还有类似coadapter
、ti2adapter
等 -
v11
该controlnet版本号,v11
意味着1.1版本 -
p
标识:p
:正式产品;e
:测试版;u
:未完成版;f
修复版; -
sd15
将stable diffusion 1.5版作为基础模型进行训练 -
canny
该模型功能,比如canny
是边缘检测模型 -
pth
文件名后缀,有pth
、safetensors
等,一般还有yaml
配置文件
- control_v11p_sd15_canny
- control_v11p_sd15_mlsd
- control_v11f1p_sd15_depth
- control_v11p_sd15_normalbae
- control_v11p_sd15_seg
- control_v11p_sd15_inpaint
- control_v11p_sd15_lineart
- control_v11p_sd15s2_lineart_anime
- control_v11p_sd15_openpose
- control_v11p_sd15_scribble
- control_v11p_sd15_softedge
- control_v11e_sd15_shuffle
- control_v11e_sd15_ip2p
- control_v11u_sd15_tile
预处理器与模型一览表
分类 | 预处理器 | 备注 | 模型 |
---|---|---|---|
黑白倒转 | invert | ||
边缘检测 | canny | control_v11p_sd15_canny | |
深度检测 | depth_leres | LeRes depth estimation | control_v11f1p_sd15_depth |
深度检测 | depth_midas | control_v11f1p_sd15_depth | |
深度检测 | depth_zoe | 推荐,最精细 | control_v11f1p_sd15_depth |
局部重绘 | inpaint_global_harmonious | controlnet自带局部重绘 | control_v11p_sd15_inpaint |
线稿控制 | lineart_anime | 动画 | control_v11p_sd15s2_lineart_anime |
线稿控制 | lineart_anime_denoise | 动画 | control_v11p_sd15s2_lineart_anime |
线稿控制 | lineart_coarse | control_v11p_sd15_lineart | |
线稿控制 | lineart_realistic | 最像线稿 | control_v11p_sd15_lineart |
线稿控制 | lineart_standard | control_v11p_sd15_lineart | |
面部控制 | mediapipi_face | ||
直线检测 | mlsd | M-LSD line detection,直线检测,建筑类最适用 | control_v11p_sd15_mlsd |
法线贴图 | normal_bae | control_v11p_sd15_normalbae | |
法线贴图 | normal_midas | control_v11p_sd15_normalbae | |
姿态估计 | OpenPose pose detection | control_v11p_sd15_openpose | |
姿态估计 | openpose_face | control_v11p_sd15_openpose | |
姿态估计 | openpose_faceonly | control_v11p_sd15_openpose | |
姿态估计 | openpose_full | control_v11p_sd15_openpose | |
姿态估计 | openpose hand | control_v11p_sd15_openpose | |
涂鸦 | scribble_hed | control_v11p_sd15_scribble | |
涂鸦 | scribble_pidinet | control_v11p_sd15_scribble | |
涂鸦 | scribble_xdog | control_v11p_sd15_scribble | |
语义分割 | seg_ofade20k | control_v11p_sd15_seg | |
语义分割 | seg_ofcoco | control_v11p_sd15_seg | |
语义分割 | seg_ufade20k | control_v11p_sd15_seg | |
风格转移 | shuffle | 图像风格化 | control_v11e_sd15_shuffle |
软边缘 | softedge_hed | control_v11p_sd15_softedge | |
软边缘 | softedge_hedsafe | control_v11p_sd15_softedge | |
软边缘 | softedge_pidinet | 推荐 | control_v11p_sd15_softedge |
软边缘 | softedge_pidisafe | control_v11p_sd15_softedge | |
提取色彩 | t2ia_color_grid | t2iadapter_color_sd14v1 | |
边缘检测 | t2ia_sketch_pidi | t2iadapter_sketch_sd14v1 / t2iadapter_sketch_sd15v2 | |
风格转移 | t2ia_style_clipvision | 图像风格化 | t2iadapter_style_sd14v1 |
阈值 | threshold | ||
局部重绘 | tile_resample | 优化图生图自带的局部重绘 | control_v11u_sd15_tile |
预览对比
原图
1 | 2 | 3 | 4 |
---|---|---|---|
黑白倒转|invert
1 | 2 | 3 | 4 |
---|---|---|---|
边缘检测|canny
1 | 2 | 3 | 4 |
---|---|---|---|
深度检测|depth_leres
1 | 2 | 3 | 4 |
---|---|---|---|
深度检测|depth_midas
1 | 2 | 3 | 4 |
---|---|---|---|
深度检测|depth_zoe
1 | 2 | 3 | 4 |
---|---|---|---|
局部重绘|inpaint_global_harmonious
1 | 2 | 3 | 4 |
---|---|---|---|
线稿控制|lineart_anime
1 | 2 | 3 | 4 |
---|---|---|---|
线稿控制|lineart_anime_denoise
1 | 2 | 3 | 4 |
---|---|---|---|
线稿控制|lineart_coarse
1 | 2 | 3 | 4 |
---|---|---|---|
线稿控制|lineart_realistic
1 | 2 | 3 | 4 |
---|---|---|---|
线稿控制|lineart_standard
1 | 2 | 3 | 4 |
---|---|---|---|
面部控制|mediapipi_face
1 | 2 | 3 | 4 |
---|---|---|---|
直线检测|mlsd
1 | 2 | 3 | 4 |
---|---|---|---|
法线贴图|normal_bae
1 | 2 | 3 | 4 |
---|---|---|---|
法线贴图|normal_midas
1 | 2 | 3 | 4 |
---|---|---|---|
姿态估计|OpenPose pose detection
1 | 2 | 3 | 4 |
---|---|---|---|
姿态估计|openpose_face
1 | 2 | 3 | 4 |
---|---|---|---|
姿态估计|openpose_faceonly
1 | 2 | 3 | 4 |
---|---|---|---|
姿态估计|openpose_full
1 | 2 | 3 | 4 |
---|---|---|---|
姿态估计|openpose hand
1 | 2 | 3 | 4 |
---|---|---|---|
涂鸦|scribble_hed
1 | 2 | 3 | 4 |
---|---|---|---|
涂鸦|scribble_pidinet
1 | 2 | 3 | 4 |
---|---|---|---|
涂鸦|scribble_xdog
1 | 2 | 3 | 4 |
---|---|---|---|
语义分割|seg_ofade20k
1 | 2 | 3 | 4 |
---|---|---|---|
语义分割|seg_ofcoco
1 | 2 | 3 | 4 |
---|---|---|---|
语义分割|seg_ufade20k
1 | 2 | 3 | 4 |
---|---|---|---|
风格转移|shuffle
1 | 2 | 3 | 4 |
---|---|---|---|
软边缘|softedge_hed
1 | 2 | 3 | 4 |
---|---|---|---|
软边缘|softedge_hedsafe
1 | 2 | 3 | 4 |
---|---|---|---|
软边缘|softedge_pidinet
1 | 2 | 3 | 4 |
---|---|---|---|
软边缘|softedge_pidisafe
1 | 2 | 3 | 4 |
---|---|---|---|
提取色彩|t2ia_color_grid
1 | 2 | 3 | 4 |
---|---|---|---|
边缘检测|t2ia_sketch_pidi
1 | 2 | 3 | 4 |
---|---|---|---|
风格转移|t2ia_style_clipvision
无法预览
1 | 2 | 3 | 4 |
---|---|---|---|
阈值|threshold
1 | 2 | 3 | 4 |
---|---|---|---|
局部重绘|tile_resample
1 | 2 | 3 | 4 |
---|---|---|---|
文章出处登录后可见!
已经登录?立即刷新