controlnet1.1模型和预处理器功能详解(各预处理器出稿对比及对应模型说明)

ControlNet 1.1 与 ControlNet 1.0 具有完全相同的体系结构,ControlNet 1.1 包括所有以前的模型,具有改进的稳健性和结果质量,且增加并细化了多个模型。

命名规范

项目名+版本号+标识+基础模型版本+功能名+文件后缀名

  • control
    官方总是以control为项目名,还有类似coadapterti2adapter

  • v11
    该controlnet版本号,v11意味着1.1版本

  • p
    标识:p:正式产品;e:测试版; u:未完成版; f修复版;

  • sd15
    将stable diffusion 1.5版作为基础模型进行训练

  • canny
    该模型功能,比如canny是边缘检测模型

  • pth
    文件名后缀,有pthsafetensors等,一般还有yaml配置文件

  • control_v11p_sd15_canny
  • control_v11p_sd15_mlsd
  • control_v11f1p_sd15_depth
  • control_v11p_sd15_normalbae
  • control_v11p_sd15_seg
  • control_v11p_sd15_inpaint
  • control_v11p_sd15_lineart
  • control_v11p_sd15s2_lineart_anime
  • control_v11p_sd15_openpose
  • control_v11p_sd15_scribble
  • control_v11p_sd15_softedge
  • control_v11e_sd15_shuffle
  • control_v11e_sd15_ip2p
  • control_v11u_sd15_tile

预处理器与模型一览表

分类预处理器备注模型
黑白倒转invert
边缘检测cannycontrol_v11p_sd15_canny
深度检测depth_leresLeRes depth estimationcontrol_v11f1p_sd15_depth
深度检测depth_midascontrol_v11f1p_sd15_depth
深度检测depth_zoe推荐,最精细control_v11f1p_sd15_depth
局部重绘inpaint_global_harmoniouscontrolnet自带局部重绘control_v11p_sd15_inpaint
线稿控制lineart_anime动画control_v11p_sd15s2_lineart_anime
线稿控制lineart_anime_denoise动画control_v11p_sd15s2_lineart_anime
线稿控制lineart_coarsecontrol_v11p_sd15_lineart
线稿控制lineart_realistic最像线稿control_v11p_sd15_lineart
线稿控制lineart_standardcontrol_v11p_sd15_lineart
面部控制mediapipi_face
直线检测mlsdM-LSD line detection,直线检测,建筑类最适用control_v11p_sd15_mlsd
法线贴图normal_baecontrol_v11p_sd15_normalbae
法线贴图normal_midascontrol_v11p_sd15_normalbae
姿态估计OpenPose pose detectioncontrol_v11p_sd15_openpose
姿态估计openpose_facecontrol_v11p_sd15_openpose
姿态估计openpose_faceonlycontrol_v11p_sd15_openpose
姿态估计openpose_fullcontrol_v11p_sd15_openpose
姿态估计openpose handcontrol_v11p_sd15_openpose
涂鸦scribble_hedcontrol_v11p_sd15_scribble
涂鸦scribble_pidinetcontrol_v11p_sd15_scribble
涂鸦scribble_xdogcontrol_v11p_sd15_scribble
语义分割seg_ofade20kcontrol_v11p_sd15_seg
语义分割seg_ofcococontrol_v11p_sd15_seg
语义分割seg_ufade20kcontrol_v11p_sd15_seg
风格转移shuffle图像风格化control_v11e_sd15_shuffle
软边缘softedge_hedcontrol_v11p_sd15_softedge
软边缘softedge_hedsafecontrol_v11p_sd15_softedge
软边缘softedge_pidinet推荐control_v11p_sd15_softedge
软边缘softedge_pidisafecontrol_v11p_sd15_softedge
提取色彩t2ia_color_gridt2iadapter_color_sd14v1
边缘检测t2ia_sketch_pidit2iadapter_sketch_sd14v1 / t2iadapter_sketch_sd15v2
风格转移t2ia_style_clipvision图像风格化t2iadapter_style_sd14v1
阈值threshold
局部重绘tile_resample优化图生图自带的局部重绘control_v11u_sd15_tile

预览对比

原图

1234

黑白倒转|invert

1234

边缘检测|canny

1234

深度检测|depth_leres

1234

深度检测|depth_midas

1234

深度检测|depth_zoe

1234

局部重绘|inpaint_global_harmonious

1234

线稿控制|lineart_anime

1234

线稿控制|lineart_anime_denoise

1234

线稿控制|lineart_coarse

1234

线稿控制|lineart_realistic

1234

线稿控制|lineart_standard

1234

面部控制|mediapipi_face

1234

直线检测|mlsd

1234

法线贴图|normal_bae

1234

法线贴图|normal_midas

1234

姿态估计|OpenPose pose detection

1234

姿态估计|openpose_face

1234

姿态估计|openpose_faceonly

1234

姿态估计|openpose_full

1234

姿态估计|openpose hand

1234

涂鸦|scribble_hed

1234

涂鸦|scribble_pidinet

1234

涂鸦|scribble_xdog

1234

语义分割|seg_ofade20k

1234

语义分割|seg_ofcoco

1234

语义分割|seg_ufade20k

1234

风格转移|shuffle

1234

软边缘|softedge_hed

1234

软边缘|softedge_hedsafe

1234

软边缘|softedge_pidinet

1234

软边缘|softedge_pidisafe

1234

提取色彩|t2ia_color_grid

1234

边缘检测|t2ia_sketch_pidi

1234

风格转移|t2ia_style_clipvision

无法预览

1234

阈值|threshold

1234

局部重绘|tile_resample

1234

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
青葱年少的头像青葱年少普通用户
上一篇 2023年5月29日
下一篇 2023年5月29日

相关推荐