机器学习-朴素贝叶斯学习笔记

朴素贝叶斯法

朴素贝叶斯法的学习与分类

本质目的：通过训练数据集学习联合概率分布$P(X,Y)$。

其中X为输入空间里的一个随机向量，维度为n；Y为输出空间里的一个随机变量，维度为K。
具体来说，设先验概率分布为

$$P(Y=c_{k}),k=1,2,3…,K$$

则条件概率分布

$$P(X=x|Y=c_{k})=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}),k=1,2,...,K$$

这时如果要通过要计算条件概率，假设$x_{j}$的每个位置可以取$S_{j}$个值，则一共需要$K\prod_{j=1}^{n}S_{j}$个参数，这是有指数数量的参数。（这里的参数是指输入空间内每个向量的取值与最终输出标签的概率关系。）
因此朴素贝叶斯发对条件概率分布做了条件独立性假设，即X各个维度之间是相互独立的。

$$P(X=x|Y=c_{k})=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}),k=1,2,...,K \\ =\prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_{k})$$

因为朴素贝叶斯是学习输入向量x的每一个变量的分布与最终结果的关系，因此是学习生成数据的机制，属于生成模型。
当模型已经学习完毕后，计算所有类别的后验概率$P(Y=c_{k}|X=x)$,并选择最大的后验类别作为x的预测结果输出。

$$P(Y=c_{k})=\frac{P(X=x|Y=c_{k})P(Y=c_{k})}{\sum_{k}^{}P(X=x|y=c_{k})P(Y=c_{k})}$$

带入条件独立后，去除分母为定值，则有分类器：

$$y=argmax_{c_{k}}P(Y=c_{k})\prod_{j}P(X^{(j)}=x^{(j)}|Y=c_{k})$$

模型参数的估计方法

极大似然估计

a是每个特征可能的取值组合，条件概率的极大似然估计是：

$$P(Y=c_{k})=\frac{\sum^{N}_{i=1}I(y_{i}=c_{k})}{N}\\ P(x^{(j)}=a_{jl}|Y=c_{k})=\frac{P(x^{(j)}=a_{jl})}{P(Y=c_{k})}\\ =\frac{\sum^{N}_{i=1}I(x^{(j)}=a_{jl},y_{i}=c_{k})}{\sum^{N}_{i=1}I(y_{i}=c_{k})}\\ j=1,2,...,n;l=1,2,...,S_{j};k=1,2,...,K$$