NoveAI本地环境搭建、AI作画

鉴于按照别人的教程安装过程中遇到各种问题,极其痛苦,所以还是自己也整理总结一份.

1 diffusion vs GAN

所谓扩散算法diffusion是指先将一幅画面逐步加入噪点，一直到整个画面都变成白噪声。记录这个过程，然后逆转过来给AI学习。

AI看到的是什么？一个全是噪点的画面如何一点点变清晰直到变成一幅画，AI通过学习这个逐步去噪点的过程来学会作画。

diffusion和之前大火的GAN模型相比，有什么优势呢？用OpenAI的一篇论文内容来讲，用diffusion生成的图像质量明显优于GAN模型；而且与GAN不同，diffusion不用在鞍点问题上纠结——涉及稳定性问题，只需要去最小化一个标准的凸交叉熵损失即可，这样就大大简化了模型训练过程中，数据处理的难度。

总结来说，目前的训练技术让diffusion直接跨越了GAN领域调模型的阶段，而是直接可以用来做下游任务，是一个新的数学范式在图像领域应用的实例。

2 NovelAI

NovelAI是基于人工智能的绘画创作辅助工具，单纯训练就使用了数千个网站的数十亿张图片。NovelAI是一个商业化的网站，绘画是需要付费的，然而这次其商业模型疑似流出，不管是小白还是画师都能体验一次AI创作的乐趣。这次流出的模型是stable-diffusion-webui。
在这里插入图片描述

3 AI绘画环境搭建

安装Anaconda

进入Anaconda官网https://www.anaconda.com/products/distribution选择相应的操作系统，本文主要介绍在Windows下的安装流程
在这里插入图片描述
下载好之后，运行安装程序，一直点同意或者下一步即可（在选择安装路径时，可以自己更改路径）；
安装完成之后，需要配置环境变量
依次点击我的电脑->右键属性->点击高级系统设置->点击环境变量，之后按下图所示配置用户变量
在这里插入图片描述
保存环境变量之后，打开CMD，输入

conda --version

如果输出版本号则说明安装成功，如下所示。

在这里插入图片描述
切换到想要保存项目的目录下，比如：D盘
运行D:即可

下载模型stable-diffusion-webui

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

创建Python3.10的虚拟环境

conda create -n ai_draw python=3.10

进入虚拟环境

conda activate ai_draw

在虚拟环境中安装pytorch

按照该文章中的步骤先安装cuda 和cuDNN，到步骤2.3即可。(我的电脑cuda驱动是11.4，但是我安装的是11.3.一开始安装11.4的，后面一直出问题，后来又重装的11.3)
https://blog.csdn.net/FRIGIDWINTER/article/details/127466470
然后到https://pytorch.org/get-started/locally/选择pytorch版本
我的电脑装得cuda是11.3的，所以这里也选择了CUDA11.3.package选择Pip(这里一开始选的conda,但是使用conda装的PYTORCH一直都是CPU版本，后续还会各种报错，程序无法执行).
在这里插入图片描述
选择好设置之后，把command命令复制粘贴到终端中（此时是在ai_draw的虚拟环境中），等待安装完成。

接着进入stable-diffusion-webui文件夹（是文件目录，不是在终端），找到requirements.txt文件，basicar后加上"==1.3.5",numpy后面加上“==1.22.1”（如果不加的话，默认下载最新版本，运行时报错）。保存。
然后回到终端，运行

cd stable-diffusion-webui

进入到stable-diffusion-webui根目录。
再运行

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

下载模型和权重文件

模型文件：model.cpkt

可通过vpn外网下载https://link.csdn.net/?target=https%3A%2F%2Fcloudflare-ipfs.com%2Fipfs%2Fbafybeicpamreyp2bsocyk3hpxr7ixb2g2rnrequub3j2ahrkdxbvfbvjc4%2Fmodel.ckpt
也可在百度网盘下载（下载后讲里面的两个压缩文件解压，还放在Stable-diffusion文件夹中就行）
链接：https://pan.baidu.com/s/1eQ-89r4efw26beoM0UTY1A?pwd=tkqb
提取码：tkqb

权重文件GFPGANv1.4.pth

无需VPN即可下载https://link.csdn.net/?target=https%3A%2F%2Fgithub.com%2FTencentARC%2FGFPGAN%2Freleases%2Fdownload%2Fv1.3.0%2FGFPGANv1.4.pth
模型文件移动到目录stable-diffusion-webui-master\models\Stable-diffusion，权重文件留在根目录即可
在这里插入图片描述

根目录运行启动文件

python launch.py

4 体验AI创作

通过第三节的配置，成功后即可在终端看到
在这里插入图片描述
复制红框中的链接，在浏览器中打开即可。
测试最简单的文本生成图像功能：
输入正面标签：

NSFW,anime fine details portrait of a white haired girl ,black eyes,wearing hoodie on the city street background, close-up view, anime masterpiece，4k, sharp high quality anime, artstation Prhololive, uruha_rushia, 1girl, bangs, bare shoulders, red eyes, blue dress, blue green hair,blue sleeves, blush, bow, breasts, chick, collarbone, detached collar, detached sleeves, double bun, eyebrows visible through hair,frills, hair orhament, medium hair, off-shoulder dress 1girl looking_at_viewer upper_body, too many flowers,kyoto animation, bishojo, bare_shoulders black sleeves yellow_eyes emeraldblue_hair, sailor_collar and neckerchief, detached_sleeves frilled_shirt_collar frills grey_shirt headset heart long_hairsleeveless shirt twintails verv long hair wide sleeves highres 2girl, two bishojo snuggled up selfie, with white marble glowing skin and perfect symmetrical pretty face with blush cheeks and glaring eyes wearing a school uniform,golden hour lighting, strong rim light, intense shadowse , Ernst Thoms

输入反面标签：

lowres, bad anatomy, bad hands, text,error, missing fngers,extra digt ,fewer digits,cropped, wort quality ,low quality,normal quality, jpeg artifacts,signature,watermark, username, blurry, bad feet

点击generate等待生成图片

文章出处登录后可见！

已经登录？立即刷新