Stable Diffusion涂鸦功能与局部重绘

        在 StableDiffusion图生图的面板里，除了图生图（img2img）选卡外，还有局部重绘(Inpaint)，涂鸦(Sketch)，涂鸦重绘(Inpaint Sketch),上传重绘蒙版（Inpaint Uplaod）、批量处理（Batch）等功能。下面我就讲解一下这些功能的作用和使用。

        涂鸦

        Sketch 中文意思为素描，速写，草图；（任何作品的）粗样，初稿。这个功能可以让我们在原图上进行简单的创作后，再生成图片。以一张美女图片为例，我们想要在美女脸上固定位置上加一个美人痣，如果使用图生图的画，每次的美人痣位置都是随机的，难以控制。类似于这样需要固定位置或者形状的情况就适合用涂鸦功能了。

        首先我们在图生图面板上传一张美女图片，然后点开涂鸦选卡，然后点击画笔调整好粗细，在选择颜色管理器里的颜色，这里我们选着黑色。在美女的眼睛下方点一颗美人痣。接着提示词里输入“mole（痣）”，提示词点击生成。

        其中，画笔的颜色对生成涂鸦区域的颜色影响特别大，即使加了别的颜色的提示词，这涂鸦颜色生成的内容也很难有所改变。

        效果图

        以下是生成图片的一些参数

mole,
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 3, Seed: 2395846175, Size: 768x1152, Model hash: 7c819b6d13, Model: majicMIX realistic 麦橘写实_v7, Denoising strength: 0.45, Version: v1.6.0

        需要注意的是提示词相关系数设置太大，出现的美人痣就越多，重绘幅度越大和原图的差距就越大。

        局部重绘

        Inpaint 中文意思为 修复（图像）：在数字图像处理中，通过填充丢失或损坏的区域，恢复图像的原始外观。 即当我们想对图片的局部地区进行修复或者重绘，就可是使用这个功能。比如我们之前用图生图生成了一张美女的图片，我们对这个图片的整体是非常满意的，但是我们希望这个美女能戴上太阳镜变得时尚起来。这时候，用图生图加入太的提示词，不管是锁定随机种子，还是调低重绘幅度，照片整体都会发生变化。

        效果图

        这时候，就要局部重绘的功能上传了，首先我们先切换到局部重绘的面板，上传我们这个原图。然后点击画笔设置画笔的粗细，然后涂抹眼部，最后提示词矿内输入sunglasses，点击生成。（有时候自己涂抹的区域有点小，生成眼镜不完全，可以扩大涂抹区域后重新生成）

        上面三个按钮分别是撤销上一次操作，橡皮差和删除图片。

        效果图

        参数设置与图生图不同的是多了蒙版边缘模糊度、蒙版模式、蒙版区域内容处理、重绘区域、仅蒙版区域下边缘预留像素 五个参数设置，下图是生成上图的这个参数的设置。

        蒙版边缘模糊度

        蒙版边缘模糊度是指在进行图像处理时，对蒙版（mask）边缘进行模糊处理的一种程度。这种模糊处理可以使得蒙版的边缘更加平滑，减少突兀感，使图像看起来更加自然。

        在具体操作中，可以通过调整蒙版边缘模糊度的数值来控制模糊效果的大小。数值越大，模糊效果越明显，反之数值越小则模糊效果越不明显。通常情况下，这个数值的范围在0-64之间。

        此外，蒙版模糊度也可以用于保护一些敏感信息，例如人脸、车牌等，通过模糊处理后可以有效地防止这些信息被识别和提取。

        以眼睛为例，蒙版边缘模糊度越小，生成的眼镜越清晰，否者，生成的眼镜越模糊

        蒙版模式

        蒙版模式分为重绘蒙版内容和非蒙版内容。

• 重绘蒙版内容，就是只重绘我们涂鸦区域的图像（一般都选这个）。
• 重绘非蒙版内容，就是只重绘我们涂鸦区域以外的图像。

        蒙版区域内容处理

        蒙版区域内容处理分为四种方式，分别为填充、原版、潜空间噪声、空白潜空间。

• 填充 以眼镜为例，生成的眼睛，会按照，你涂抹的区域进行填充。除非你画的模板和眼睛的轮廓一摸一样否则不建议选这个。
• 原版 即原图不发生变化，生成的眼镜在适配原图美女的样貌改变。
• 潜空间噪声 （涉及到一些原理的概念）Stable Diffusion模型是一种潜在扩散模型，它通过在潜在空间中应用扩散过程来生成图像。这个潜在空间是比像素空间更低维度的空间，可以减少内存和计算成本。在潜在空间中，噪声被添加到潜在表示中，然后通过解码器生成图像。通过调整潜在噪声的大小和分布，可以控制生成图像的质量和多样性。
• 空白浅空间 和潜空间噪声类似，只不过没有噪声。同样可以减少内存和计算成本。但是生成效果不好。

        重绘区域

        在Stable Diffusion的局部重绘中，重绘区域的选择有两种：整张图和仅蒙版区域。

• 如果选择整张图，那么将会重新绘制整张图片，包括蒙版区域和非蒙版区域。这样做的好处是，可以很好地保持图片的全局逻辑性，同时能够将蒙版的内容再拼合回去。但如果只想改变图片的一部分，以达到精细控制效果，那么这种选择可能不是最佳的。
• 如果选择仅蒙版区域，那么只会对蒙版内容进行重新绘制，不会影响蒙版外的区域。这种选择更加灵活，可以只改变图片的特定部分，比如只改变眼睛的颜色等。局部重绘模式下，只需输入重绘部分提示词即可。

        仅蒙版区域下边缘预留像素

        在Stable Diffusion的局部重绘中，仅蒙版区域下边缘预留像素的作用主要是为了更好地融合重绘区域与原始图像的边缘。

        在局部重绘中，如果只对蒙版区域进行重绘，那么重绘区域与原始图像之间的边缘可能会显得比较突兀，不够自然。为了解决这个问题，可以预留一些像素，使得重绘区域在边缘处与原始图像有更好的过渡和融合，让整个图像看起来更加自然。

        具体来说，这些预留像素可以视为一种“缓冲带”，它们将重绘区域与原始图像隔开，但又不影响它们之间的视觉效果。通过调整这些预留像素的大小和分布，可以控制重绘区域与原始图像之间的过渡效果，以达到更加自然和流畅的视觉效果。

总之，Stable Diffusion局部重绘中仅蒙版区域下边缘预留像素的作用是为了让重绘区域与原始图像之间的边缘更加自然和流畅。如果你的蒙版区域，要重绘的东西对整体没有影响，可以设置为0。

        涂鸦重绘

        涂鸦重绘这个功能其实就是涂鸦功能和局部重绘功能的结合。下面做一个简单示例。首先我们在图生图面板上传一张美女图片，然后点开涂鸦重绘选卡，然后点击画笔调整好粗细，在选择颜色管理器里的颜色，这里我们选着红色，给美女涂鸦一个口罩，然后在正向提示词输入框内输入mouth mask（口罩），点击生成图片即可。

        效果图

        生成图片参数

mouth mask,
Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 3, Seed: 2395846175, Size: 768x1152, Model hash: 7c819b6d13, Model: majicMIX realistic 麦橘写实_v7, Denoising strength: 0.8, Mask blur: 0, Version: v1.6.0

        值得注意的是，局部重绘和涂鸦重绘的重绘幅度可以设置很大0.8左右，因为都只是对涂鸦区域生效。重绘幅度越大，口罩的细节就越多。针对局部重绘和涂鸦重绘的 重绘幅度如果0.5以下，基本和原图没啥差别，达不到我们想要重绘的效果。