目 录
一、SadTalker介绍
SadTalker是一个开源的虚拟数字人制作工具,可以用一张图片生成数字人口播视频。SadTalker生成3DMM的三维(头部姿势、表情)系数,利用三维面部渲染器进行视频生成。SadTalker还提供了一些新的模式,例如静态模式、参考模式、调整大小模式等,以便更好地进行自定义应用程序。
二、准备工作
部署好AutoDL镜像并开启终端;
部署教程:基于Wav2Lip+GFPGAN的AI数字人视频(以AutoDL算力云平台部署为例)
从我的百度网盘中下载我的源码到AutoDL(该源码包括权重,懒人必备,十分推荐!)
链接:https://pan.baidu.com/s/1etXmmJ_ftwVSaqIe1EK37g?pwd=i2on
提取码:i2on
也可运行以下命令下载源码。(下载该源码还得另外下载权重,不推荐!)
(另外说明,此SadTalker版本为 v0.0.2 )
git clone https://github.com/Winfredy/SadTalker.git
首先cd到SadTalker目录下,然后按步骤运行以下命令。
sudo apt update
sudo apt install ffmpeg
pip install -r requirements.txt
三、数字人案例(图片转视频)
在命令行中输入以下指令即可跑模型。
python inference.py –driven_audio <audio.wav> \
–source_image <video.mp4 or picture.png> \
–result_dir <a file to store results> \
–still \
–preprocess full \
–enhancer gfpgan
下面命令是我输入的例子,仅供参考,那些路径都是需要修改的。
python inference.py --driven_audio AIHuman/audio/AIHuman.mp3 --source_image AIHuman/images/03.jpeg --result_dir AIHuman/results --still --preprocess full --enhancer gfpgan
参数说明
–driven_audio:输入的音频文件路径。
–source_image:输入的图像文件路径,支持音频文件和视频MP4格式。
–checkpoint_dir:模型存放路径。
–result_dir:数据导出路径。
–enhancer:高清模型,选择gfpgan或RestoreFormer
四、展示效果
五、参考资料
参考项目:SadTalker-GitHub
参考资料:基于SadTalker的AI主播,Stable Diffusion也可用_Mr数据杨的博客-CSDN博客
文章出处登录后可见!