AI作画升级！一键帮你用Stable Diffusion 生成无限缩放效果视频

在这一篇文章中，我们介绍了利用OpenVINO™优化和加速Stable Diffusion模型的推理，在英特尔®独立显卡上能够根据我们输入的指令（prompt），快速生成我们喜爱的AI画作。今天，我们对这一应用场景再次升级，除了能够作画，利用OpenVINO对Stable Diffusion v2模型的支持及优化，我们还能够在在英特尔®独立显卡上快速生成带有无限缩放效果的视频，使得AI作画的效果更具动感，其效果也更加震撼。话不多说，接下来还是让我们来划划重点，看看具体是怎么实现的吧。 

本次无限缩放Stable Diffusion v2视频生成的全部代码请戳这里openvino_notebooks/236-stable-diffusion-v2-infinite-zoom.ipynb at main · openvinotoolkit/openvino_notebooks · GitHub OpenVINO Notebooks运行环境的安装请您参考我们的上一篇AI作画博客 

此次我们应用的深度学习模型是Stable Diffusion v2模型，相比它的上一代v1模型，它具有一系列新特性，包括配备了一个新的鲁棒编码器OpenCLIP，由LAION创建，并得到了Stability AI的帮助，与V1版本相比，此版本显著增强了生成的照片。另外，v2模型在之前的模型基础上增加了一个更新的修复模块（inpainting）。这种文本引导的修复使切换图像中的部分比以前更容易。也正是基于这一新特性，我们可以利用stabilityai/stable-diffusion-2-inpainting模型，生成带有无限缩放效果的视频。 

在图像编辑中，Inpainting是一个恢复图片缺失部分的过程。最常用于重建旧的退化图像，从照片中去除裂纹、划痕、灰尘斑点或红眼。但凭借AI和Stable Diffusion模型的力量，Inpainting可以实现更多的功能。例如，它可以用来在现有图片的任何部分渲染全新的东西，而不仅仅是恢复图像中缺失的部分。只要发挥你的想象力，你可以做出更多炫酷效果的作品来。 

下面的工作流程图解释了用于Inpainting的Stable Diffusion inpainting流水线是如何工作的：

在此次的代码示例中，我们将完成以下几个步骤： 

1. 将PyTorch 模型转换为ONNX格式。 

1. 利用Model Optimizer 工具，将ONNX 模型转换为OpenVINO IR 格式。 

1. 运行Stable Diffusion v2 inpainting 流水线，生成无限缩放效果视频。 

现在，让我们来重点来看看如何配置推理流水线的代码。 

这里主要分以下三个步骤： 

1. 在推理的硬件设备上加载模型Load models on device 

1. 配置分词器和调度器Configure tokenizer and scheduler 

1. 创建OvStableDiffusionInpaintingPipeline 类的示例 

我们在配备英特尔锐炫™独立显卡的机器上加载模型并运行推理，因此推理设备我们选择“GPU”。默认情况下，它使用“ AUTO”，并会自动切换至检测到的 GPU。代码如下： 

from openvino.runtime import Core 

 

core = Core() 

 

tokenizer = CLIPTokenizer.from_pretrained('openai/clip-vit-large-patch14') 

 

text_enc_inpaint = core.compile_model(TEXT_ENCODER_OV_PATH_INPAINT, "GPU") 

unet_model_inpaint = core.compile_model(UNET_OV_PATH_INPAINT, " GPU ") 

vae_decoder_inpaint = core.compile_model(VAE_DECODER_OV_PATH_INPAINT, "GPU") 

vae_encoder_inpaint = core.compile_model(VAE_ENCODER_OV_PATH_INPAINT, "GPU") 

 

ov_pipe_inpaint = OVStableDiffusionInpaintingPipeline( 

    tokenizer=tokenizer, 

    text_encoder=text_enc_inpaint, 

    unet=unet_model_inpaint, 

    vae_encoder=vae_encoder_inpaint, 

    vae_decoder=vae_decoder_inpaint, 

    scheduler=scheduler_inpaint, 

) 

  

 接下来，我们输入文本提示，运行视频生成的代码吧。

import ipywidgets as widgets 

 

zoom_prompt = widgets.Textarea(value="valley in the Alps at sunset, epic vista, beautiful landscape, 4k, 8k", description='positive prompt', layout=widgets.Layout(width="auto")) 

zoom_negative_prompt = widgets.Textarea(value="lurry, bad art, blurred, text, watermark", description='negative prompt', layout=widgets.Layout(width="auto")) 

zoom_num_steps = widgets.IntSlider(min=1, max=50, value=20, description='steps:') 

zoom_num_frames = widgets.IntSlider(min=1, max=50, value=3, description='frames:') 

mask_width = widgets.IntSlider(min=32, max=256, value=128, description='edge size:') 

zoom_seed = widgets.IntSlider(min=0, max=10000000, description='seed: ', value=9999) 

zoom_in = widgets.Checkbox( 

    value=False, 

    description='zoom in', 

    disabled=False 

) 

 

widgets.VBox([zoom_prompt, zoom_negative_prompt, zoom_seed, zoom_num_steps, zoom_num_frames, mask_width, zoom_in]) 

在这一步中，我把步骤设置为 20。理想情况下，我将使用 50，以提供最好看的结果。另外，这里还可以自行设置生成的图画数量，所有生成的图画将组合起来构成最后的无限缩放效果视频。当然，我们同样还生成了 GIF 文件，以便大家多种形式可视化展示生成结果。 

最终结果。 

stable_diffusion_video

总结

当下，如果您想了解“Stable Diffusion”的工作原理，以及英特尔硬件的加速方式，OpenVINO Notebooks 无疑是首选。如果您有任何疑问或想要展示您的一些最佳成果，请在下方评论或通过我们的 GitHub 讨论板发表评论! 祝大家编码快乐啦。