前言

目标检测算法在Yolo算法提出后拥有了新的提升空间，在全球技术人员的研究下，迭代速度越来越快，性能也越来越好，目前该算法已具备很好的实时性，加上图像处理技术逐步成熟，Yolo已经被广泛应用到目标检测领域中。一般我们训练出来的模型直接移植到嵌入式平台进行验证检测时会发现检测效果很难达到我们的预期。本文将详细介绍如何在嵌入式平台提升Yolo的检测速度。

一、安装torch&&torchvision

1、下载官方提供的torch-1.8.0-cp36-cp36m-linux_aarch64.whl包

方法一：从官网下载
方式二：百度网盘下载，提取码：azyj

在终端输入以下命令

sudo apt-get install python3-pip libopenblas-base libopenmpi-dev 
pip3 install Cython
pip3 install numpy torch-1.8.0-cp36-cp36m-linux_aarch64.whl    # 注意你自己.whl包路径
sudo apt-get install libjpeg-dev zlib1g-dev libpython3-dev libavcodec-dev libavformat-dev libswscale-dev

2、安装对应版本的torchvision

git clone --branch v0.9.0 https://github.com/pytorch/vision torchvision
cd torchvision
export BUILD_VERSION=0.9.0
python3 setup.py install --user

二、Yolov5环境搭建

git clone https://github.com/ultralytics/yolov5.git
python3 -m pip install --upgrade pip 
cd yolov5
pip3 install -r requirements.txt -i https://mirror.baidu.com/pypi/sample

环境配置好以后，进行第一次推理,会下载yolov5.pt

python3 detect.py

三、用TensorRT加速推理

1、克隆tensorrt项目

git clone https://github.com/wang-xinyu/tensorrtx.git

2、将.pt文件转换成.wts文件

cd tensorrtx
cp yolov5/gen_wts.py ~/yolov5
cd ~/yolov5
python3 gen_wts.py yolov5s.pt 

3、生成.engine文件并进行推理检测

cd ~/tensorrtx/yolov5
mkdir build && cd build
mv ~/yolov5/yolov5s.wts ./
cmake .. 
./yolov5 -s yolov5s.wts yolov5s.engine s #生成engine文件需要一段时间，请耐心等待
./yolov5 -d yolov5s.engine ../samples    # 推理结果保存在samples文件夹下

四、DeepStream安装 & yolov5检测CSI摄像头视频

1、下载deepstream

下载链接

2、安装依赖

sudo apt install \
libssl1.0.0 \
libgstreamer1.0-0 \
gstreamer1.0-tools \
gstreamer1.0-plugins-good \
gstreamer1.0-plugins-bad \
gstreamer1.0-plugins-ugly \
gstreamer1.0-libav \
libgstrtspserver-1.0-0 \
libjansson4=2.11-1 \
libgstrtspserver-1.0-dev

3、安装deepstream

git clone https://gitee.com/mirrorgit/librdkafka
cd librdkafka
git reset --hard 7101c2310341ab3f4675fc565f64f0967e135a6a
./configure
make -j4
sudo make install
sudo mkdir -p /opt/nvidia/deepstream/deepstream-5.1/lib
sudo cp /usr/local/lib/librdkafka* /opt/nvidia/deepstream/deepstream-5.1/lib

4、运行官方例程

cd /opt/nvidia/deepstream/deepstream-5.1/samples/configs/deepstream-app/
deepstream-app -c source8_1080p_dec_infer-resnet_tracker_tiled_display_fp16_nano.txt 

运行8路视频检测，帧率平均28fps/s。

五、yolov5+tensorrt+deepstream检测

1、下载Yolov5-in-Deepstream

git clone https://github.com/DanaHan/Yolov5-in-Deepstream-5.0.git

Yolov5-in-Deepstream-5.0/Deepstream 5.0/nvdsinfer_custom_impl_Yolo这个文件夹下少了yolo.o和yoloPlugins.o两个文件,我放在了百度网盘，链接同上。

2、添加标签集到刚下载的文件中

cd Yolov5-in-Deepstream-5.0/Deepstream 5.0
cp ~/darknet/data/coco.names ./labels.txt

3、修改config_infer_primary_yoloV5.txt

如图修改config_infer_primary_yoloV5.txt

4、复制.engine和libmyplugins.so到Deepstream文件夹下

cp ~/tensorrtx/yolov5/build/yolov5s.engine ./ #复制之前生成的引擎文件到当前目录
cp ~/tensorrtx/yolov5/build/libmyplugins.so ./

5、生成libnvdsinfer_custom_impl_Yolo.so文件

cd nvdsinfer_custom_impl_Yolo
make -j 

编译好的libnvdsinfer_custom_impl_Yolo.so文件我也上传到了百度网盘，连接同上，需要自取。

6、运行deepstream为yolov5加速

 cd .. 
 LD_PRELOAD=./libmyplugins.so deepstream-app -c deepstream_app_config_yoloV5.txt 

如果这一步失败，打开deepstream_app_config_yoloV5.txt文件，看一下[source0]中要检测的官方视频路径是否正确。视频存放路径：/opt/nvidia/deepstream/deepstream-5.1/samples/configs/deepstream-app/deepstream-app -c source8_1080p_dec_infer-resnet_tracker_tiled_display_fp16_nano.txt ili

7、调用CSI摄像头检测

修改deepstream_app_config_yoloV5.txt文件，注释掉[source0]这一段，在下面添加以下内容：

[source1]
enable=1
#Type – 1=CameraV4L2 2=URI 3=MultiURI 4=RTSP 5=CSI
type=5
camera-csi-sensor-id=1
camera-width=1280
camera-height=720
camera-fps-n=30
camera-fps-d=1

camera-csi-sensor-id表示你要开启哪一个CSI摄像头，没写这条语句时，一般默认是0号CSI摄像头。查看Jetson挂载的CSI摄像头方法，可以移步到我介绍调用摄像头的那篇博客。

6、安装过程中可能遇到的问题

参考博客：Jetson Xavier NX使用Yolov5+DeepStream+TensorRT实现CSI摄像头的目标识别及采坑记录

这个博客应该可以解决大多数安装问题。

总结

本文介绍了同时使用TensorRT和Deepstream为Yolo模型加速的方法，如果想要用自己的模型，一定要注意自己训练模型的yolo版本是和tensorrt版本一致，否则无法生成引擎文件。同时要修改tensorrtx/yolov5/yololayer.h文件，static constexpr int CLASS_NUM = num，其中num是你自己模型要识别目标的数量。
通过修改config_infer_primary_yoloV5.txt这个文件，可以选择引擎文件和标签文本，通过添加/注释deepstream_app_config_yoloV5.txt中[source]，可以选择检测模式。