给定训练数据集：

1. 基于特征独立假设学习输入输出的联合概率分布；
2. 基于此模型，对给定输入，利用贝叶斯定理求出后验概率最大的输出。

朴素贝叶斯法的学习与分类

基本方法

数据定义

设输入空间为维向量的集合，输出空间为类标记集合。输入为特征向量，输出为类标记。是定义在输入空间上的随机变量，是定义在输出空间上的随机变量。是的联合概率分布。

训练数据集，由独立同分布产生。

学习联合概率分布

1. 首先学习先验概率分布：
2. 接着学习条件概率分布：

如何求出条件概率分布？

根据我在概率论的所学，参数估计的方法有矩估计和极大似然估计。

朴素贝叶斯法对条件概率分布做了条件独立性假设。这是一个比较强的假设。具体而言，条件独立性假设是：

朴素贝叶斯实际上是学习到生成数据的机制，属于生成模型。

条件独立假设等于是说：用于分类的特征在类确定的条件下都是条件独立的。

如何分类？

朴素贝叶斯分类时，对给定的输入，通过学习到的模型计算后验概率分布，将后验概率最大的类作为的类输出。

后验概率的计算公式为朴素贝叶斯定理：

于是朴素贝叶斯的分类器可以表示为

后验概率最大化的含义

朴素贝叶斯的参数估计法

极大似然估计

极大似然估计的思想就是要让我观测到的，一定是概率大的。于是演变为了求频率的样子。

先验概率的极大似然估计是

设第个特征可能取值集合为，则条件概率的极大似然估计是（注意，这里算的是特征的条件概率）

学习分类算法

算法4.1（朴素贝叶斯算法）

1. 计算先验概率及条件概率；
2. 对于给定实例，逐类别计算贝叶斯公式的分母；
3. 确定最大概率的类别。

贝叶斯估计

用极大似然法估计可能会出现所要估计的概率值为0的情况，这会影响后验概率的计算结果。

条件概率的贝叶斯估计为

常取，此时称为拉普拉斯平滑。