【扫盲】什么是模型推理（model inference）

举几个对推理性能有强要求的场景例子：

（1）在公共安全领域中，视频监控中实时的人脸识别需要有实时的展示能力方便执法人员快速定位跟踪人员。
（2）在互联网应用领域中，电商网站、内容应用实时的个性化推荐要求能够快速响应，推荐的卡顿感将直接影响购物或者内容获取的体验。
（3）在银行领域中，电子支付中异常交易的实时识别也至关重要，任何异常的交易需要被快速识别并拦截，而正常的交易则不能被影响。
（4）在金融领域中，量化模型毫秒级的交易判断输出能帮助华尔街的交易员们套取巨额利润。

从上面的例子不难发现，其实在不同的领域的场景下，推理的性能都是模型表现之外最关注的点，在某些极端的场景，数据科学家和机器学习工程师甚至愿意牺牲一部分的模型表现来换取更高的推理性能。

了解更多：浅谈机器学习模型推理性能优化

———————————————————————————————————————

训练（training）vs推理（inference）
训练是通过从已有的数据中学习到某种能力；
推理是简化并使用该能力，使其能快速、高效地对未知的数据进行操作，以获得预期的结果。

训练是计算密集型操作，模型一般都需要使用大量的数据来进行训练，通过反向传播来不断的优化模型的参数，以使得模型获取某种能力。在训练的过程中，我们常常是将模型在数据集上面的拟合情况放在首要位置的。

而推理过程在很多场景下，除了模型的精度外，还更加关注模型的大小和速度等指标。
这就需要对训练的模型进行一些压缩、剪枝或者是操作上面的计算优化。

了解更多：模型推理部署——基础概念篇