什么是推理和训练AI芯片？

人工智能的实现包括两个环节：推理(Inference)和训练(Training)。

推理是指利用训练好的模型，使用新数据推理出各种结论。借助神经网络模型进行运算，利用输入的新数据来一次性获得正确结论的过程。这也有叫做预测或推断。

训练是指通过大数据训练出一个复杂的神经网络模型，通过大量标记过的数据来训练相应的系统，使其能够适应特定的功能。训练需要较高的计算性能、能够处理海量的数据、具有一定的通用性，以便完成各种各样的学习任务。

所以根据承担任务的不同，AI芯片可以分为两类，它们分别是训练AI芯片和推理AI芯片。

1、训练芯片：用于构建神经网络模型，注重绝对的计算能力;

2、推理芯片：利用神经网络模型进行推理预测，注重综合指标，单位能耗算力、时延、成本等都要考虑。

推理AI芯片分为哪几类？

根据AI芯片部署的位置分为两种：云端以及终端

云端，即数据中心，在深度学习的训练阶段需要庞大的数据量，以及大运算量，单一处理器是无法独立完成的，因此训练环节仅能够在云端实现。

终端，即手机、汽车、智能家居以及各种物联网设备等执行边缘计算的智能设备。终端的数量庞大，并且需求的差异性明显。

训练推理的完成目前主要集中在云端，但随着越来越多芯片厂商的努力，很多的应用将逐渐转移到终端。

所以，根据部署位置，推理AI芯片又可细分为云端推理AI芯片和终端推理AI芯片：

1、云端推理

云端推理AI芯片可作为深度学习推理加速的协处理器，也可作为主处理器从以太网接口或USB接口接收视频流、图片或其它数据，执行推理和其他计算机视觉任务。目前，除了英伟达、谷歌、赛灵思、英特尔等这些国外芯片大厂涉足云端推理芯片外，寒武纪、比特大陆等中国企业同样积极布局该领域。

2、终端推理

目前，终端推理AI芯片主要应用于智能手机、自动驾驶、机器人、智能家居等设备。它可作为深度学习推理加速的协处理器，还可以作为主处理器从以太网接口或USB接口接收视频流、图片或其它数据，执行推理和其他计算机视觉任务。目前，除了英伟达、谷歌、赛灵思、英特尔等这些国外芯片大厂涉足云端推理芯片外，寒武纪、比特大陆等中国企业也在领域进行积极的布局，并取得了不俗的成绩。

芯片分为哪几种？

• 芯片架构：分为GPU（一般特指GPGPU）、ASIC和FPGA。

GPU 作为最早从事并行加速计算的处理器，具有高并行结构，在处理图形数据和复杂算法方面拥有比 CPU 更高的效率。 

ASIC是一种面向特定应用场景的专有AI芯片，通过算法固化实现极致的性能和能效，平均性能强、功耗低和性价比高，但前期投入大、研发时间较长。 

FPGA是一种半定制化芯片，在制造完成后仍然可以对芯片进行灵活软件功能配置，以满足用户独特需求，具有可编程性、高并行性、低延迟和低功耗等特点，在云端和边缘端的推理领域具有很高的应用潜力。