3D Gaussian Splatting（高斯飞溅3D算法） Windows系统部署（简版） |导入到Unity

目录

前言

3D Gaussian Splatting最近真的是太热了，想看看重建出来是什么样子的，于是就参考网络上各位大神给的教程进行复现。我先在Ubuntu20.04系统上进行复现，环境配置安装成功，也可以进行训练，就是在编译可视化界面时一直cmake不动，显示的原因是FFmpeg出现了问题，在此期间我重新安装ffmpeg的各个版本，并且替换一些代码，还是cmake不起，在万般无语之下转到windows系统，没想到windows系统相对来说更容易复现。我将本文所借鉴的视频、博客放在下面供大家参考：

Getting Started With 3D Gaussian Splatting for Windows (Beginner Tutorial)

gaussian-splatting-Windows

3D Gaussian Splatting for Real-Time Radiance Field Rendering

3D Gaussian Splatting從0開始到Unreal與Unity-( pzman )   强推想复现的小伙伴看这个视频，真的是太详细了，给这个博主点赞👍

1、安装python

（1）下载地址

        http:// https://www.python.org/downloads/release/python-3106/

（2）添加环境变量

        如果没有正确将python的环境变量正确添加好，后面pip安装的时候会出现一些错误。

2、安装CUDA        

        安装CUDA我就不列出步骤了，因为我windows系统上之前安装过。有一点需要注意的是，在复现Gaussian Splatting的时候官方文档给的要求是不要使用CUDA 11.6和CUDA 12.0，大部分人采用的是CUDA 11.8，我一直采用我之前安装的CUDA 11.3也是可以复现的。

3、安装git

（1）下载地址

        https://git-scm.com/downloads

（2）检查是否安装成功

        按照正常的流程进行下载安装，然后在系统终端输入git –version，进行检查是否安装成功

        安装完git后就可以进行Gaussian splatting项目的下载了

git clone https://github.com/graphdeco-inria/gaussian-splatting --recursive

4、安装visual studio

        安装Visual Studio主要是里面集成了一些C++编译，在这里我是在网上找的破解版visual studio2019进行安装，也是正常的安装流程，给大家一个参考的安装链接。

https://mp.weixin.qq.com/s/A6HwzO8Ger4Q9_GMkBDvqg

        在安装vs2019的时候 一定一定要勾选上面的c++选项！

5、安装COLMAP

（1）下载地址

        http:// https://github.com/colmap/colmap/releases/tag/3.8

（2）添加环境变量

        将下载好的colmap的地址复制好，然后像上面添加python的环境变量一样，在path中添加colmap的路径然后在进行检查是否安装成功。

        然后打开windows的powershell检查是否安装成功，在终端中输入COLMAP，如果过一会能够显示出colmap的gui界面就代表安装成功。

6、安装ffmpeg

        在ubuntu系统上安装这个东西让我头大，我之前复现instant-ngp、nerfstudio的时候也安装过并且cmake成功，现在复现高斯飞溅的时候一直失败。但是在windows系统里这个软件还是很好安装的。

（1）下载地址

        http:// https://www.gyan.dev/ffmpeg/builds/

（2）添加环境变量

（3）检查是否安装成功

        在windows 终端中输入ffmpeg –version进行检验

7、安装pytorch

         在你自己的gaussian splatting文件夹中的上面输入cmd，然后在这个地址下进行pytorch的下载，我安装的是cuda11.3，因此我的pytorch安装指令和别人的不一样

        安装指令：

pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113

8、安装其他依赖项

        在这个部分我们采用的是pip安装，但是有可能在安装一些依赖项的时候出现问题，很幸运我在安装一些依赖项的时候没有出现问题，但是如果有朋友出现问题的话，我给大家一个链接，里面有详细的手动安装教程。

        视频第19min开始解决无法正常pip安装的教程

        先按照下面的pip进行安装，如果安装后面两个的时候出现了问题，就参考我上面发的链接

pip install plyfile tqdm
pip install submodules/diff-gaussian-rasterization
pip install submodules/simple-knn

9、安装viewers（可视化界面）

        windows系统里面的可视化界面是相对来说比较好安装的因为人家已经集成好了，直接下载到gaussian splatting的文件夹里解压就可以了。

10、设置启动脚本与data文件夹

（1）设置5个.bat脚本

        在gaussian文件夹中先新建一个txt文档，然后分别将下面的指令对应放到文件中，记住最后要把.txt文件的后缀名改成.bat，如果想更改.bat文件的内容的话可以点击鼠标右键然后点编辑进行更改。

1.视频抽帧.bat : 
cd data
ffmpeg -i input.mp4 -vf "setpts=0.2*PTS" input\input_%%4d.jpg
pause

2.产生点云.bat : 
python convert.py -s data
pause

3.检查对位.bat :
 COLMAP

4.开始训练.bat : 
python train.py -s data -m data/output
pause

5.可视化窗口.bat :
 .\viewers\bin\SIBR_gaussianViewer_app -m data/output
pause

（2）data文件夹设置

        在gaussian splatting文件夹里面新建一个data文件夹，然后将你拍的视频命名为input放入到data文件夹中，然后再在data文件夹里新建一个input文件夹，然后分别双击点击运行上面四个指令后就会生成一系列参数。

11、打开可视化页面

         运行完上面四个操作指令后，再双击第五个指令就可以看到可视化页面了。在这个可视化页面中，使用键盘的W,A,S,D,U,I,O,J,K,L可以调整观察视角。

12、外接Unity操作

（1）Unity下载

        可以在任何地方下载Unity，首先要说明的是，先下载Unity hub，然后再进行操作，在unity hub里面下载unity2022.3版本的才能将外挂导入进去。

（2）Unity gaussian splatting外挂操作

        下载方式：git clone https://github.com/aras-p/UnityGaussianSplatting.git

（3）Unity中操作

        打开unity hub 点击add把git下来的外挂导入到project中，然后双击这个gaussianExample就可以进入unity2022.3中

        进入页面后，先把之前训练的项目导入进去，最上面的工具栏有tools，点击Gausian Splats，再点击Create GaussianSplatAsset把你之前训练好的模型的点云（.ply）文件导入进去，再进行后续操作。

       完成上面的项目导入之后，先点击左上角的Gaussian Splats，然后就会显示下图中右边的显示栏，接着将下图中蓝色的图标拖入到右边的指定位置。

        我介绍的比较简洁，如果大家有什么疑问的话，还是建议去b站观看一个up主的操作视频3D Gaussian Splatting從0開始到Unreal與Unity-( pzman )，过程非常的清晰， 而且和其他up主的区别在于，这位up主不需要在windows上安装conda用于包的管理，我之前在youtube上看一个国外老哥在windows上部署但是过程很麻烦，不如这位up主的简洁。还看了一些大佬在ubuntu上训练然后在windows上安装view，把ubuntu上训练好的模型放在windows上进行可视化，就感觉有些麻烦。希望大家在部署的时候少走一些弯路！