OpenMMLab-AI实战营第二期——6-2.玩转AIGC神器MMagic

文章目录

• 1. 基本介绍
• 2. 动手实验

视频链接：玩转AIGC神器MMagic
代码教程：https://github.com/TommyZihao/MMagic_Tutorials

1. 基本介绍

Stable Diffusion的文生图，以及controlnet和dreamboost的图生图（输入一个图像+文字描述，输出另一张图像）

在2022年以前，这种技术是无法想象的，像magic一样，所以这个库就叫mmagic

1. Stable Diffusion和Midjourney

• 参考知乎文章-十分钟读懂Stable Diffusion，
• 可以在线体验下：Stable Diffusion Playground，这里也有体验Midjourney的方式，但是我体验的时候提示今日免费体验额度没有了。
• Stable Diffusion Playground 我的描述词：Anime-style headshot of a beautiful big-eyed girl looking at a cute black cat，生成的。。。还行吧，没那么惊艳，但是还算合理
  

另外，huggingface的在线体验：Stable Diffusion v1-5 Demo，同样的prompt结果是：

调用mmagic的Stable Diffusion结果是：

这么看下来，mmagic的Stable Diffusion比较好，哈哈哈。

2.controlnet和Dreambooth
参考知乎文章：

• AI绘画王炸功能Control Net安装教程
• ControlNet：AI图像生成的又一变革
• 【AI绘画】LoRA训练与正则化的真相：Dreambooth底层原理

https://beta.openxlab.org.cn/apps

https://beta.openxlab.org.cn/edit-anything/home，这个需要注册登录才可以使用。不过有别的项目，需要自己部署一下，参考：

• Github：sail-sg/EditAnything
• Github：IDEA-Research/Grounded-Segment-Anything

https://github.com/open-mmlab/mmagic
上图的详情介绍视频位于：https://user-images.githubusercontent.com/49083766/233564593-7d3d48ed-e843-4432-b610-35e3d257765c.mp4

这个变化有点像 哪吒之魔童降世的申公豹人脸变豹子脸的感觉

可以用来做变身，哈哈哈

mmgeneration和mmedting合并成为现在的mmagic，主要包括：
条件GAN和非条件GAN，图像修复，图像超分，视频超分，视频插值，图像上色，图像转译，图像重绘，文生图等场景算法

详见:https://mmagic.readthedocs.io/en/latest/model_zoo/overview.html，英文版确实比中文文档要完善很多。

2. 动手实验

代码教程：https://github.com/TommyZihao/MMagic_Tutorials