朴素贝叶斯法（与贝叶斯估计是不同的概念）是基于 贝叶斯定理与 特征条件独立假设的分类方法。
给定训练数据集：
- 基于特征独立假设学习输入输出的联合概率分布；
- 基于此模型，对给定输入
，利用贝叶斯定理求出后验概率最大的输出。
朴素贝叶斯法的学习与分类
基本方法
数据定义
设输入空间为维向量的集合，输出空间为类标记集合。输入为特征向量，输出为类标记。是定义在输入空间上的随机变量，是定义在输出空间上的随机变量。是的联合概率分布。
训练数据集，由独立同分布产生。
学习联合概率分布
- 首先学习先验概率分布：
- 接着学习条件概率分布：
如何求出条件概率分布？
根据我在概率论的所学，参数估计的方法有矩估计和极大似然估计。
朴素贝叶斯法对条件概率分布做了条件独立性假设。这是一个比较强的假设。具体而言，条件独立性假设是：
朴素贝叶斯实际上是学习到生成数据的机制，属于生成模型。
条件独立假设等于是说：用于分类的特征在类确定的条件下都是条件独立的。
如何分类？
朴素贝叶斯分类时，对给定的输入，通过学习到的模型计算后验概率分布，将后验概率最大的类作为的类输出。
后验概率的计算公式为朴素贝叶斯定理：
于是朴素贝叶斯的分类器可以表示为
后验概率最大化的含义
朴素贝叶斯的参数估计法
极大似然估计
极大似然估计的思想就是要让我观测到的，一定是概率大的。于是演变为了求频率的样子。
先验概率的极大似然估计是
设第个特征可能取值集合为，则条件概率的极大似然估计是（注意，这里算的是特征的条件概率）
学习分类算法
算法4.1（朴素贝叶斯算法）
- 计算先验概率及条件概率；
- 对于给定实例，逐类别计算贝叶斯公式的分母；
- 确定最大概率的类别。
贝叶斯估计
用极大似然法估计可能会出现所要估计的概率值为0的情况，这会影响后验概率的计算结果。
条件概率的贝叶斯估计为
常取，此时称为拉普拉斯平滑。
