探索【Stable-Diffusion WEBUI】的图片超分辨插件:StableSR

文章目录

(零)前言

本篇主要介绍WEBUI的插件:StableSR:图片超分辨放大的使用,以及和WEB UI附加功能图片放大功能的对比。
更多不断丰富的内容参考:🔗《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》

(一)图片放大

之前通过《探索【Stable-Diffusion WEBUI】的附加功能:图片缩放&抠图》了解到,由于Stable-Diffusion并不适合生成很大的图片,所以我们可以先生成适合的正常尺寸图,再通过附加功能页的放大功能,放大图片。

同时介绍了好些缩放模型,其中有些效果挺好的。

特别是LDSR(潜在扩散超分辨率模型)照片表现非常好,不仅脑补的细节多,还加入了很多噪点显得真实。
但模型体积巨大+速度超级慢。放大一张512×512的图,几乎需要20分钟(其它放大算法都是20秒内……)。

所以,有没有其它放大选择呢?

(二)图片超分辨率放大脚本插件(StableSR)

参考:🔗插件StableSR
可以从WEB UI中直接安装,它是一个图生图的脚本。
安装后会在图生图最下面的脚本下拉框中出现StableSR。

由于官网有中文说明,不需要细讲了吧:)
简单列举下重点,细节请看官网(仓库)的中文说明。

对了:SR = Super-Resolution ,写出来以防忘记。。。

(2.1)下载组件

安装后需要下载模型才能使用(⚠️细节请看官网介绍):

  1. Stable Diffusion V2.1 512 EMA 模型(约 5.21GB)->放基础模型目录。
  2. 官方的 StableSR 模块 (约400MB)->放插件自己的模型目录。
  3. 可选使用官方提供的 VQGAN VAE(约750MB) ->放VAE模型目录。
  4. 可选配合 Tiled Diffusion & VAE 扩展,也就是分区扩散(Multi Diffusion)插件使用。
    说是可选,咱普通显存只能必选,否则稍大的图就显存不够了。

(2.2)使用

基本使用很简单,在图生图下面启用脚本就可以了。
主要步骤如下,官网还给出了具体参数配置的建议(⚠️细节请看官网介绍)。

  • 基础模型选择刚才下载的v2-1_512-ema-pruned模型。
  • 切换到 img2img 标签。在页面底部找到 “脚本” 下拉列表,选择StableSR脚本。
    点击刷新按钮,选刚才下载的 StableSR 模块。
  • 如果生成图像尺寸 > 512,推荐使用 Tiled Diffusion & VAE(也就是Multi Diffusion upscaler)。
  • 上传图像并开始生成。

我试了一下速度还不算太慢(比一般算法慢多了)。
一张512²的图大概5-6分钟吧(还是比LDSR快不少啊)。

💡 不过需要注意:

  • 中低显存下,不能打开Channels Last内存格式优化,否则报错。
  • 不要尝试放大特别小的图片(48×48一类?)😄 。
  • 纹理类可以脑补的细节很不错。但文字类需要“原样放大”的效果很差,看不出原文。
    这种情况请对比4x-UltraSharpR-ESRGAN 4x+等附加功能页图片放大的效果。
  • 使用SD2.1的基础模型时,嵌入式(embeddings)模型可能会暂时看不见,正常的,因为那些是给SD1.5用的。
  • 注意版权问题,目前由于版权协议,生成的图片不能商用。

(2.3)实例对比(放大)

下面这张图(请忽略AI生成导致不合理的部分),我们来把它放大4倍。

放大后实在是太大了,就给个局部裁剪吧。
局部:原图直接缩放(传统图像编辑软件,对比组)
请添加图片描述

局部:StableSR
请添加图片描述

局部:StableSR(纯噪声选项开)
纯噪声适合脑补肌肤纹理,植物人群,各种不太需要和原图一致的细节。细节多,显得更加清晰。
但是改变原图较多,不适合文字之类。有时也会生成莫名奇妙的东西。
请添加图片描述

局部:LDSR(最强对比组)
噪点多显得真实,但噪点真的太多了。而且没有色彩修复选项(关键是太慢,其它可以忍)。
请添加图片描述

(2.4)实例对比(修复)

下面这张是比较早时自己拍的照片,那时相机不行,即使缩小看也很模糊。
我们不放大它的分辨率,处理看看。
请添加图片描述

局部100%:座机拍的原图

局部100%:StableSR
整体清晰了不少,文字,栏杆,树叶等。
不过截图外远处人的样子已经没法看了。

局部100%:StableSR(纯噪声选项开)
AI生成(脑补)的细节更多,已经明显改变原图了,比如牌匾字体破损的位置,而且整体有点卡通化。
草地上有个蓝色的牌子(虽然看不清写的啥),彻底被弄没了。

(三)总结

插件非常适合可以脑补细节的图片放大,相对LDSR来说不算太慢。
但操作相对复杂,还需要配合分区扩散插件(不然就爆显存,参数设不对也爆显存)。

总之它给了我们一个新的选择,期待持续改进。

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
xiaoxingxing的头像xiaoxingxing管理团队
上一篇 2023年12月26日
下一篇 2023年12月26日

相关推荐