Stable Diffusion – 真人照片的高清修复 (StableSR + GFPGAN) 最佳实践

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/132032216

GFPGAN (Generative Facial Prior GAN) 算法，用于实现真实世界的盲脸恢复的算法，利用预训练的面部 GAN（如 StyleGAN2 ）中封装的丰富和多样的先验信息，来修复低质量、模糊、噪声或者损坏的人脸图像。GFPGAN 算法的主要贡献有以下几点：

• 提出生成式面部先验（GFP），可以从预训练的面部 GAN 中提取高质量的面部特征，并通过空间特征变换层（SFT）将其融合到面部恢复过程中，从而提高了面部图像的真实性和保真度。
• 设计通道分割空间特征变换层（CS-SFT），可以根据输入特征对GAN特征进行部分调制，从而在纹理的真实性和保真度之间达到一个良好的平衡。
• 引入面部成分损失和身份保留损失，可以分别增强感知显著的面部成分（如眼睛、鼻子、嘴巴等）和保留面部的身份信息，从而提高了面部图像的视觉质量和语义一致性。

Paper: Towards Real-World Blind Face Restoration with Generative Facial Prior

有些模糊的真实图像，需要高清修复细节，同时，重点关注于人脸区域，保持人物属性不变。

1. 图像放大

图像放大4倍，扩充细节，可选 4x-UltraSharp 算法 (快速) 或 StableSR 算法 (高质量)，参考 超分辨率插件 StableSR v2 (768×768) 配置与使用 。

1. Extra 4x-UltraSharp

SD Tab 选择 后期处理 (Extra)， 放大算法使用 4x-UltraSharp ，图像放大 4倍，配置如下：

放大效果如下，重点观察脸部细节：

2. StableSR

StableSR算法的整体效果和细节，均优于4x-UltraSharp 算法，缺点是速度较慢。

使用 StableSR 放大算法脚本，同样放大 4 倍，启用 Tiled Diffusion 与 Tiled VAE，效果如下：

整体的对比效果，如下：

2. 脸部细节

修复完全身之后，再使用 后期处理 (Extra) 的 GFPGAN 功能，修复脸部细节。

建议提前下载 GFPGAN 的 3 个模型，即 detection_Resnet50_Final.pth、parsing_parsenet.pth、GFPGANv1.4.pth：

https://github.com/xinntao/facexlib/releases/download/v0.1.0/detection_Resnet50_Final.pth
# models/GFPGAN/detection_Resnet50_Final.pth

https://github.com/xinntao/facexlib/releases/download/v0.2.2/parsing_parsenet.pth
# models/GFPGAN/parsing_parsenet.pth

https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.4.pth
# models/GFPGAN/GFPGANv1.4.pth

cd models/GFPGAN/

wget https://ghproxy.com/https://github.com/xinntao/facexlib/releases/download/v0.1.0/detection_Resnet50_Final.pth
wget https://ghproxy.com/https://github.com/xinntao/facexlib/releases/download/v0.2.2/parsing_parsenet.pth
wget https://ghproxy.com/https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.4.pth

注意：GFPGAN 不会修改面部细节，只提供放大功能，而CodeFormer 则会修改面部细节。

GFPGAN 和 CodeFormer 的配置如下：

• GFPGAN的可见程度设置为 1.0，更高权重。
• CodeFormer可见程度设置为 0.2，权重设置为 0.8 (反向)

即

Extra 4x-UltraSharp 的 GFPGAN 脸部修复，效果如下：

Stable SR 与 Extra 4x-UltraSharp 的 GFPGAN 脸部修复，明显Stable SR 优于 Extra 4x-UltraSharp，效果如下：

最终修复效果，即 StableSR + GFPGAN：

参考：田曦薇的照片