【2023 · CANN训练营第一季】进阶班笔记1

1.在AscendCL中,关于媒体数据处理V1版本中的内存申请/释放接口acldvppMalloc/acldvppFree:

该接口主要用于分配内存给Device侧媒体数据处理时使用,申请的大页内存满足数据处理的要求(例如,内存首地址128字节对齐)。

调用该接口申请内存后,如果内存不使用,需及时调用acldvppFree接口释放内存

频繁调用acldvppMalloc接口申请内存、调用acldvppFree接口释放内存,对性能有影响。

调用该接口申请大页内存失败,仅表示系统内的大页内存不够。

2.在AscendCL中,关于媒体数据处理中的JPEG图片解码,其支持的场景包括:

只对图片解码,不会改变图片分辨率,因此输出与输入的图片分辨率保持一致

在解码图片时,支持对图片进行旋转

在解码图片时,支持按源图片格式解码

3.关于DVPP:DVPP是昇腾AI处理器内置的图像处理单元,通过AscendCL媒体数据处理接口提供强大的媒体处理硬加速能力

JPEGD的硬件约束只支持对顺序式编码的图片进行解码

由于DVPP硬件上的约束,DVPP处理后的图片格式有可能还需要AIPP处理之后,再送入模型推理

4.数字视觉预处理包含的功能 :PNGD VENC JPEGD

5.Device侧内存申请时,ACL_MEM_MALLOC_HUGE_ONLY策略为仅申请大页内存

6.关于资源复用,从性能角度,内存复用是为了减少拷贝

7.将Host数据拷贝到DVPP侧时,aclrtMemcpy函数的拷贝类型中应该选择ACL_MEMCPY_HOST_TO_DEVICE

8.acl定义的接口:

aclrtResetDevice aclFinalize aclrtSetDevice

9.在编写模型离线推理执行的代码时需要:

给模型准备输入输出

执行推理过程

把模型加载进内存

10.VPC(媒体数据处理V1版本)的功能:

抠图 叠加 拼接

11.在AscendCL中,关于媒体数据处理V1版本接口:

媒体数据处理V1版本与媒体数据处理V2版本的接口功能范围相同,都是描述处理媒体数据的接口,用于实现抠图、图片缩放、格式转换等功能,但两套接口不能混用。

视频数据处理的接口,例如acldvppVpcResizeAsync,从接口名称上可以看出,该接口是异步接口,调用接口成功仅表示任务下发成功,不表示任务执行成功。

调用异步接口后,不能马上释放资源,需调用同步等待接口(例如,aclrtSynchronizeStream)确保Device侧任务执行完成后才能释放。

12.在媒体数据处理V1版本中使用JPEGD功能时会有一些约束条件:

JPEGD仅对图片解码,不改变分辨率

JPEGD在解码图片时,支持按源图片格式解码

JPEGD在对图片解码时,支持对图片进行旋转

13.关于运行管理资源:

您需要按顺序依次申请如下资源:Device、Context、Stream,确保可以使用这些资源执行运算、管理任务。

显式创建Context和Stream时,需调用aclrtDestroyStream接口释放Stream,再调用aclrtDestroyContext接口释放Context。

有运行管理资源的申请,自然也有对应的释放接口,需关注资源的释放顺序。

创建Context、Stream的方式分为隐式创建和显式创建,推荐显式,适合大型、复杂交互逻辑的应用,且便于提高程序的可读性、可维护性

14.Device:Device指安装了昇腾AI处理器的硬件设备,利用PCIe接口与Host侧连接,为Host提供NN计算能力。若存在多个Device,多个Device之间的内存资源不能共享。

Context:Context作为一个容器,管理了所有对象(包括Stream、Event、设备内存等)的生命周期。不同Context的Stream、不同Context的Event是完全隔离的,无法建立同步等待关系。

Stream:基于Stream的kernel执行和数据传输能够实现Host运算操作、Host与Device间的数据传输、Device内的运算并行。

Stream:Stream用于维护一些异步操作的执行顺序,确保按照应用程序中的代码调用顺序在Device上执行。

14.在使用AscenCL构建模型输入时,对于多输入的模型:

创建DataBuffer对象 创建DataSet对象 创建模型描述

15.使用DVPP开发AcendCL图片应用必须要做的:

数据预处理时,使用VPC进行图片缩放

数据预处理时,使用JPEGD进行图片解码

模型转换时,使用AIPP进行色域转换

16.AIPP的功能:

图像归一化

色域转换

抠图

AIPP支持色域转换(转换图像格式)、图像归一化(减均值/乘系数)和抠图

AIPP主要用于在AI Core上完成数据预处理

模型有多个输入时,可以指定对模型第几个输入进行AIPP处理

AIPP区分为静态AIPP和动态AIPP,只能二选一,不能同时支持

17.DVPP包含了以下功能:视频编解码、抠图、格式转换

18.AscendCL提供的多种图像/视频数据处理方式:

AIPP(Artificial Intelligence Pre-Processing)人工智能预处理,在AI Core上完成数据预处理,主要功能包括改变图像尺寸(抠图、填充等)、色域转换(转换图像格式)、减均值/乘系数(改变图像像素)等

DVPP(Digital Video Pre-Processor)是昇腾AI处理器内置的图像处理单元,通过AscendCL媒体数据处理接口提供强大的媒体处理硬加速能力,主要功能包括缩放、抠图、格式转换、图片编解码、视频编解码等

AIPP、DVPP可以分开独立使用,也可以组合使用。组合使用场景下,一般先使用DVPP对图片/视频进行解码、抠图、缩放等基本处理,但由于DVPP硬件上的约束,DVPP处理后的图片格式、分辨率有可能不满足模型的要求,因此还需要再经过AIPP进一步做色域转换、抠图、填充等处理

AscendCL提供了AIPP(Artificial Intelligence Pre-Processing)和DVPP(Digital Video Pre-Processor)两种处理图像/视频数据的方式

19.AscendCL提供的媒体数据处理V1版本接口,关于其接口调用流程:

首先,需创建处理图像/视频的通道,针对不同的功能,需创建对应的通道

其次,在实现各功能前,需调用acldvppMalloc接口申请Device上的内存存放输入或输出数据

然后,调用各功能对应的接口,例如JPEG解码需调用acldvppJpegDecodeAsync接口,由于是异步接口,还需调用aclrtSynchronizeStream接口等待功能执行完成,才能获取到输出数据

19.DVPP(数字视觉预处理)包含以下功能模块:

VPC,含抠图、缩放等功能

JPEGD,JPEG图片解码功能

PNGD,PNG图片解码功能

20.目前PyTorch框架的原始网络模型不可以使用ATC工具转换为昇腾AI处理器离线模型

21.在媒体数据处理V1版本中,使用JPEGD图片解码功能需要使用的接口有: 

acldvppCreateChannel

acldvppJpegDecodeAsync

acldvppMalloc

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
社会演员多的头像社会演员多普通用户
上一篇 2023年11月7日
下一篇 2023年11月7日

相关推荐