首先要叙述朴素贝叶斯算法的基本假设：

独立性假设：假设单一样本 $X_i$ 的 n 个维度 $X_i^{(1)},...,X_i^{(n)}$ 彼此之间在各种意义上相互独立

这当然是很强的假设，在现实任务中也大多无法满足该假设。由此会衍生出所谓的半朴素贝叶斯和贝叶斯网，这里先按下不表

然后就是算法。我们打算先只叙述它的基本思想和各个公式，相关的定义和证明会放在后面的文章中。不过其实仅对着接下来的公式敲代码的话、就已经可以实现一个朴素贝叶斯模型了：

基本思想：后验概率最大化、然后通过贝叶斯公式转换成先验概率乘条件概率最大化
各个公式（假设输入有 N 个、单个样本是 n 维的、一共有 K 类：）
- 计算先验概率的极大似然估计： $\hat p(y=c_k)=\frac{\sum_{i=1}^NI(y_i=c_k)}{N},k=1,2,...,K$
- 计算条件概率的极大似然估计： $\hat p(x^{(j)}=a_{jl}|y=c_k)=\frac{\sum_{i=1}^NI(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum_{i=1}^NI(y_i=c_k)}$ 其中样本 $x_i$ 第 j 维 $x_i^{(j)}$ 的取值集合为 $\{a_{j1},...,a_{jS_j}\}$
得到最终的分类器： $y=f(x^*)=\arg\max_{c_k}\hat p(y=c_k)\prod_{i=1}^n\hat p(x^{(i)}=x^{*(i)}|y=c_k)$

在朴素贝叶斯算法思想下、一般来说会衍生出以下三种不同的模型：

离散型朴素贝叶斯（MultinomialNB）：所有维度的特征都是离散型随机变量
连续型朴素贝叶斯（GaussianNB）：所有维度的特征都是连续型随机变量
混合型朴素贝叶斯（MergedNB）：各个维度的特征有离散型也有连续型

接下来就简单~~（并不简单啊喂）~~讲讲朴素贝叶斯的数学背景。由浅入深，我们会用离散型朴素贝叶斯来说明一些普适性的概念，连续型和混合型的相关定义是类似的

朴素贝叶斯与贝叶斯决策论的联系

朴素贝叶斯的模型参数即是类别的选择空间：

$\Theta = \left\{ y = c_{1},{y = c}_{2},\ldots,{y = c}_{K} \right\}$

朴素贝叶斯总的参数空间 $\tilde{\Theta}$ 本应包括模型参数的先验概率 $p\left( \theta_{k} \right) = p(y = c_{k})$ 、样本空间在模型参数下的条件概率 $p\left( X \middle| \theta_{k} \right) = p(X|y = c_{k})$ 和样本空间本身的概率 $p(X)$ ；但由于我们采取样本空间的子集 $\tilde{X}$ 作为训练集，所以在给定的 $\tilde{X}$ 下、 $p\left( X \right) = p(\tilde{X})$ 是常数，因此可以把它从参数空间中删去。换句话说，我们关心的东西只有模型参数的先验概率和样本空间在模型参数下的条件概率

$\tilde{\Theta} = \left\{ p\left( \theta \right),p\left( X \middle| \theta \right):\theta \in \Theta \right\}$

行动空间 $A$ 就是朴素贝叶斯总的参数空间 $\tilde{\Theta}$

决策就是后验概率最大化（在推导与推广里，我们会证明该决策为贝叶斯决策）

$\delta\left( \tilde{X} \right) = \hat{\theta} = \arg{\max_{\tilde\theta\in\tilde\Theta}{p\left( \tilde{\theta} \middle| \tilde{X} \right)}}$

在 $\hat{\theta}$ 确定后，模型的决策就可以具体写成（这一步用到了独立性假设）

$\begin{align} f\left( x^{*} \right) &= \arg{\max_{c_k}{\hat{p}\left( c_{k} \middle| X = x^{*} \right)}} \\ &= \arg{\max_{c_k}{\hat{p}\left( y = c_{k} \right)\prod_{j = 1}^{n}{\hat{p}\left( X^{\left( j \right)} = {x^{*}}^{\left( j \right)} \middle| y = c_{k} \right)}}} \end{align}$

损失函数会随模型的不同而不同。在离散型朴素贝叶斯中，损失函数就是比较简单的 0-1 损失函数

$L\left( \theta,\delta\left( \tilde{X} \right) \right) = \sum_{i = 1}^{N}{\tilde{L}\left( y_{i},f\left( x_{i} \right) \right) =}\sum_{i = 1}^{N}{I(}y_{i} \neq f\left( x_{i} \right))$

这里的 $I$ 是示性函数，它满足：

$I\left( y_{i} \neq f\left( x_{i} \right) \right) = \left\{ \begin{matrix} 1,\ if\ y_{i} \neq f\left( x_{i} \right) \\ 0,if\ y_{i} \neq f\left( x_{i} \right) \\ \end{matrix} \right.\$

从上述定义出发、可以利用上一篇文章中讲解的两种参数估计方法导出离散型朴素贝叶斯的算法（详见推导与推广）：

输入：训练数据集 $D = \{\left( x_{1},y_{1} \right),\ldots,(x_{N},y_{N})\}$
过程（利用 ML 估计导出模型的具体参数）：
1. 计算先验概率 $p(y = c_{k})$ 的极大似然估计： $\hat{p}\left( y = c_{k} \right) = \frac{\sum_{i = 1}^{N}{I(y_{i} = c_{k})}}{N},\ k = 1,2,\ldots,K$
2. 计算条件概率 $p(X^{\left( j \right)} = a_{jl}|y = c_{k})$ 的极大似然估计（设每一个单独输入的 n 维向量 $x_{i}$ 的第 j 维特征 $x^{\left( j \right)}$ 可能的取值集合为 $\{ a_{j1},\ldots,a_{jS_{j}}\}$ ）： $\hat{p}\left( X^{\left( j \right)} = a_{jl} \middle| y = c_{k} \right) = \frac{\sum_{i = 1}^{N}{I(x_{i}^{\left( j \right)} = a_{jl},y_{i} = c_{k})}}{\sum_{i = 1}^{N}{I(y_{i} = c_{k})}}$
输出（利用 MAP 估计进行决策）：朴素贝叶斯模型，能够估计数据 $x^{*} = \left( {x^{*}}^{\left( 1 \right)},\ldots,{x^{*}}^{\left( n \right)} \right)^{T}$ 的类别： $y = f(x^{*}) = \arg{\max_{c_k}{\hat{p}\left( y = c_{k} \right)\prod_{j = 1}^{n}{\hat{p}(X^{\left( j \right)} = {x^{*}}^{\left( j \right)}|y = c_{k})}}}$

由上述算法可以清晰地梳理出朴素贝叶斯算法背后的数学思想：

使用极大似然估计导出模型的具体参数（先验概率、条件概率）
使用极大后验概率估计作为模型的决策（输出使得数据后验概率最大化的类别）

离散型朴素贝叶斯实例

接下来我们在一个简单、虚拟的数据集上应用离散型朴素贝叶斯算法以加深对算法的理解，该数据集（不妨称之为气球数据集 1.0）如下表所示（参考了 UCI 上相应的数据集）：

颜色	大小	测试人员	测试动作	结果
黄色	小	成人	用手打	不爆炸
黄色	小	成人	用脚踩	爆炸
黄色	小	小孩	用手打	不爆炸
黄色	小	小孩	用脚踩	不爆炸
黄色	大	成人	用手打	爆炸
黄色	大	成人	用脚踩	爆炸
黄色	大	小孩	用手打	不爆炸
黄色	大	小孩	用脚踩	爆炸
紫色	小	成人	用手打	不爆炸
紫色	小	小孩	用手打	不爆炸
紫色	大	成人	用脚踩	爆炸
紫色	大	小孩	用脚踩	爆炸

该数据集的电子版本可以参见这里。我们想预测的是样本：

颜色	大小	测试人员	测试动作
紫色	小	小孩	用脚踩

所导致的结果。容易观察到的是、气球的颜色对结果不起丝毫影响，所以在算法中该项特征可以直接去掉。因此从直观上来说，该样本所导致的结果应该是“不爆炸”，我们用离散型朴素贝叶斯算法来看看是否确实如此。首先我们需要计算类别的先验概率，易得：

$p\left( 不爆炸\right) = p\left( 爆炸\right) = 0.5$

亦即类别的先验概率也对决策不起作用。继而我们需要依次求出第2、3、4个特征（大小、测试人员、测试动作）的条件概率，它们才是决定新样本所属类别的关键。易得：

$p\left( 小气球\middle| 不爆炸\right) = \frac{5}{6},\ \ p\left( 大气球\middle| 不爆炸\right) = \frac{1}{6}$ $p\left( 小气球\middle| 爆炸\right) = \frac{1}{6},\ \ p\left( 大气球\middle| 爆炸\right) = \frac{5}{6}$ $p\left( 成人\middle| 不爆炸\right) = \frac{1}{3},\ \ p\left( 小孩\middle| 不爆炸\right) = \frac{2}{3}$ $p\left( 成人\middle| 爆炸\right) = \frac{2}{3},\ \ p\left( 小孩\middle| 爆炸\right) = \frac{1}{3}$ $p\left( 用手打\middle| 不爆炸\right) = \frac{5}{6},\ \ p\left( 用脚踩\middle| 不爆炸\right) = \frac{1}{6}$ $p\left( 用手打\middle| 爆炸\right) = \frac{1}{6},\ \ p\left( 用脚踩\middle| 爆炸\right) = \frac{5}{6}$

那么在条件“紫色小气球、小孩用脚踩”下，知（注意我们可以忽略颜色和先验概率）：

$\hat{p}\left( 不爆炸\right) = p\left( 小气球\middle| 不爆炸\right) \times p\left( 小孩\middle| 不爆炸\right) \times p\left( 用脚踩\middle| 不爆炸\right) = \frac{5}{54}$ $\hat{p}\left( 爆炸\right) = p\left( 小气球\middle| 爆炸\right) \times p\left( 小孩\middle| 爆炸\right) \times p\left( 用脚踩\middle| 爆炸\right) = \frac{5}{108}$

所以我们确实应该认为给定样本所导致的结果是“不爆炸”。

不足与改进

需要指出的是，目前为止的算法存在一个问题：如果训练集中某个类别 $c_{k}$ 的数据没有涵盖第 j 维特征的第 l 个取值的话、相应估计的条件概率 $\hat{p}\left( X^{\left( j \right)} = a_{jl} \middle| y = c_{k} \right)$ 就是 0、从而导致模型可能会在测试集上的分类产生误差。解决这个问题的办法是在各个估计中加入平滑项（也有这种做法就叫贝叶斯估计的说法）：

过程：
- 计算先验概率 $p_{\lambda}(y = c_{k})$ ： $p_{\lambda}\left( y = c_{k} \right) = \frac{\sum_{i = 1}^{N}{I\left( y_{i} = c_{k} \right) + \lambda}}{N + K\lambda},\ k = 1,2,\ldots,K$
- 计算条件概率 $p_{\lambda}(X^{\left( j \right)} = a_{jl}|y = c_{k})$ ： $p_{\lambda}\left( X^{\left( j \right)} = a_{jl} \middle| y = c_{k} \right) = \frac{\sum_{i = 1}^{N}{I\left( x_{i}^{\left( j \right)} = a_{jl},y_{i} = c_{k} \right) + \lambda}}{\sum_{i = 1}^{N}{I(y_{i} = c_{k})} + S_{j}\lambda}$

可见当 $\lambda = 0$ 时就是极大似然估计，而当 $\lambda = 1$ 时、一般可以称之为拉普拉斯平滑（Laplace Smoothing）。拉普拉斯平滑是常见的做法、我们的实现中也会默认使用它。可以将气球数据集 1.0 稍作变动以彰显加入平滑项的重要性（新数据集如下表所示，不妨称之为气球数据集 1.5）：

颜色	大小	测试人员	测试动作	结果
黄色	小	成人	用手打	不爆炸
黄色	小	成人	用脚踩	爆炸
黄色	小	小孩	用手打	不爆炸
黄色	小	小孩	用脚踩	爆炸
黄色	小	小孩	用脚踩	爆炸
黄色	小	小孩	用脚踩	爆炸
黄色	大	成人	用手打	爆炸
黄色	大	成人	用脚踩	爆炸
黄色	大	小孩	用手打	不爆炸
紫色	小	成人	用手打	不爆炸
紫色	小	小孩	用手打	不爆炸
紫色	大	小孩	用手打	不爆炸

该数据集的电子版本可以参见这里。可以看到这个数据集是“不太均衡”的：它对样本“黄色小气球，小孩用脚踩”重复进行了三次实验、而对所有紫色气球样本实验的结果都是“不爆炸”。如果我们此时想预测“紫色小气球，小孩用脚踩”的结果，虽然从直观上来说应该是“爆炸”，但我们会发现、此时由于

$p\left( 用脚踩| 不爆炸\right) = p\left( 紫色| 爆炸\right) = 0$

所以会直接导致

$\hat{p}\left( 不爆炸\right) = \hat{p}\left( 爆炸\right) = 0$

从而我们只能随机进行决策，这不是一个令人满意的结果。此时加入平滑项就显得比较重要了，我们以拉普拉斯平滑为例、知（注意类别的先验概率仍然不造成影响）：

$p\left( 黄色\middle| 不爆炸\right) = \frac{3 + 1}{6 + 2},\ \ p\left( 紫色\middle| 不爆炸\right) = \frac{3 + 1}{6 + 2}$ $p\left( 黄色\middle| 爆炸\right) = \frac{6 + 1}{6 + 2},\ \ p\left( 紫色\middle| 爆炸\right) = \frac{0 + 1}{6 + 2}$ $p\left( 小气球\middle| 不爆炸\right) = \frac{4 + 1}{6 + 2},\ \ p\left( 大气球\middle| 不爆炸不爆炸\right) = \frac{2 + 1}{6 + 2}$ $p\left( 小气球\middle| 爆炸\right) = \frac{4 + 1}{6 + 2},\ \ p\left( 大气球\middle| 爆炸\right) = \frac{2 + 1}{6 + 2}$ $p\left( 成人\middle| 不爆炸\right) = \frac{2 + 1}{6 + 2},\ \ p\left( 小孩\middle| 不爆炸\right) = \frac{4 + 1}{6 + 2}$ $p\left( 成人\middle| 爆炸\right) = \frac{3 + 1}{6 + 2},\ \ p\left( 小孩\middle| 爆炸\right) = \frac{3 + 1}{6 + 2}$ $p\left( 用手打\middle| 不爆炸\right) = \frac{6 + 1}{6 + 2},\ \ p\left( 用脚踩\middle| 不爆炸\right) = \frac{0 + 1}{6 + 2}$ $p\left( 用手打\middle| 爆炸\right) = \frac{1 + 1}{6 + 2},\ \ p\left( 用脚踩\middle| 爆炸\right) = \frac{5 + 1}{6 + 2}$

从而可算得：

$\hat{p}\left( 不爆炸\right) = \frac{25}{1024},\ \ \hat{p}\left( 爆炸\right) = \frac{15}{512}$

因此我们确实应该认为给定样本所导致的结果是“爆炸”