Stable Diffusion控制人物脸部和手的方法

 目前Stable Diffusion在人体姿态控制方面已经取得了比较稳定的效果,但是在人脸和手部姿势的控制上还没有很好的解决,经常会出现崩手和崩脸的情况。

01

After Detailer解决崩脸的问题

    After Detailer是sd的一个扩展,类似于Detection  Detailer,不同的是它用ultralytics代替了mmdet。

  首先我们启动SD,然后再扩展界面,选择从网址https://github.com/Bing-su/adetailer.git安装此扩展,然后重启UI

    然后我们用国风3生成图片如图

065a0fff1f278606e6d239f285b04db2.png

面部图像不是很完美,有一点崩脸的情况,然后我们再开启ADetailer,

ea98c2660eb9e9e620955bf5166e382a.png

选择模型face_yolov8n.pt,然后提示词用detailed face,生成图像如下,脸部有了明显的改善,但是崩手的问题依然没有解决,没关系,接着往下看,我们尝试不同的方法来解决这个问题

0d5a81f23cd05f9a3ac0b42a3a350e44.png

02


崩手问题解决

第一种方法我们用embedding模型,在C站上有很多模型,比如

d7778592e7f5e9cfd55f2cbdcce162d4.png

我们下载模型然后将模型放在embedding目录下,然后在负面提示中加入negative_hand-neg,然后生成图像,对比上面崩手的问题有了明显的改善

6d259b83d380de25472eb48d12e8c2a6.png


第二种方法我们用LyCORIS模型来解决,LyCORIS和LORA差不多,都是微调模型,C站上同样也有,我们下载如图这个模型,然后放到LyCORIS文件夹

db5c6a0297d1974d7f7509f917fa7dc5.png

然后在提示词中加入 <lyco:GoodHands-beta2:1.0> ,生成如下图片,崩手问题也得到了很好的解决

2b2ec55ea4f3f8b670cdf740f8e600af.png

第三种方法,我们用controlnet来进行手势控制

61f52a92780580b47133f949b94f2579.png

将崩手的图片拖到controlNET unit0,然后点击c9fc059b1146433b27f6d54d7a8a9d97.png进行预览,预览图如下图所示

88dd31bf1fa017e0a0b0afd682c492f9.png

然后点击编辑预览图

5749beef23e5f166aa493d28db00d6d4.png

这里需要注意的是,如果点编辑报错,需要安装openpose editor,点击不同的部位,比如左手,右手进行编辑,编辑完成后发送到ControlNet

f30213b4de758c370d05b68d969def97.png

再次文生图,得到如下效果

6ecea30f3081507975b7c3f1fecec072.png

看上去效果有改善,但还需要进一步微调

上面介绍的三种解决崩手的方法,可以用一种,也可以多种方法同时启用,只要能够效率的解决问题即可。

有SD出图崩手和崩脸困扰的朋友,也来一起试试吧

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
xiaoxingxing的头像xiaoxingxing管理团队
上一篇 2023年12月26日
下一篇 2023年12月26日

相关推荐