朴素贝叶斯分类的优点

朴素贝叶斯分类的优点如下：

一、详细释义

1、朴素贝叶斯分类器（英语：Naive Bayes classifier，台湾称为单纯贝氏分类器），在机器学习中是一系列以假设特征之间强（朴素）独立下运用贝叶斯定理为基础的简单概率分类器（英语：probabilistic classifier）。

2、单纯贝氏自20世纪50年代已广泛研究。在20世纪60年代初就以另外一个名称引入到文本信息检索界中，并仍然是文本分类的一种热门（基准）方法，文本分类是以词频为特征判断文件所属类别或其他（如垃圾邮件、合法性、体育或政治等等）的问题。

3、单纯贝氏是一种构建分类器的简单方法。该分类器模型会给问题实例分配用特征值表示的类标签，类标签取自有限集合。它不是训练这种分类器的单一算法，而是一系列基于相同原理的算法：所有单纯贝氏分类器都假定样本每个特征与其他特征都不相关。

二、优点

1、朴素贝叶斯模型有稳定的分类效率。

2、对小规模的数据表现很好，能处理多分类任务，适合增量式训练，尤其是数据量超出内存时，可以一批批地去增量训练。

3、对缺失数据不太敏感，算法也比较简单，常用于文本分类。

4、朴素贝叶斯对结果解释容易理解。

已知m个样本 ，x是特征变量，y是对应的类别。

要求一个模型函数h，对于新的样本 ，能够尽量准确的预测出 。

很多机器学习算法从误差角度来构建模型函数h，也就是先假设一个h，然后定义一个h(x)与y的误差，通过逐步减少h(x)与y的误差来获得一个拟合的模型h。

现在我们从概率的角度来考虑一下。

假设y有m个类别，即 ，

对于样本 ，如果能计算出每个类别的条件概率 ，那么可以认为概率最大的那个类别就是 所属的类别。（关于条件概率和贝叶斯定理请参考 理解贝叶斯定理 ）。即

已知m个样本 ，

x是n维特征变量，即 ，

y是对应的类别，设有K个类别，即 ，

对任一给定的x，我们需要分别计算出x属于各分类的概率 ，其中有最大值的 ，x即属于该分类 ，即样本x属于分类

现在需要计算 ，应用贝叶斯定理：

这里 是一个条件联合概率，意思是在分类 中，特征 取一组特定值（也就是需要预测的样本x的各特征的值）的概率。这个概率不容易计算，为了方便，于是 朴素 贝叶斯（Naive Bayes） 隆重登场。在这里朴素的意思是， 假定 x 的各特征 是条件独立 的。（参考 维基百科 - 条件独立 ）。因此

这个转换其实就是 独立变量的联合分布 = 各变量先验分布的乘积 （参考 维基百科 - 联合分布 ），只不过这里是条件概率，但是因为变换前后都有同样的条件 ，从样本空间 的角度看，其实就是联合分布转换成先验分布的乘积。（对样本空间的理解请参考 理解贝叶斯定理 ）。

将(5)带回(4)得

对任一给定的样本x的值是确定的，且x不依赖于C，所以P(x)可以看作常量。所以可以忽略 。

这就是朴素贝叶斯分类的模型函数。

上述公式中主要有两项，分别考察一下如何计算。

上式中 比较容易计算，用频率来估算概率，统计m个样本中属于 的样本的频率即可。设m个样本中有 个样本的类别是 ，则

对 的计算需要事先假设样本特征 的数据分布情况。对特征分布的假设，我们称之为事件模型，通常会采用以下三种假设。

有时候样本中某个特征的特定取值的样本数 ，这将导致整个 ，严重扭曲了该特征的概率值。因此，通常可以采用拉普拉斯平滑来避免这种情况发生。即

通常取

将(8)和(10)带入贝叶斯分类器(7)，得到

用一个粗略的示意图来理解一下特征为离散值时，条件概率 如何根据样本集来进行估算：

举例：根据天气情况决定是否打网球

本案例来自 朴素贝叶斯分类器

上面表格是某同学在不同天气情况下的打网球决策数据。

假设今天天气状况是：Outlook=sunny, Temperature=cool,Humidity=high,Wind=strong，该同学是否会去打网球呢？

这里的几个特征，天气、温度、湿度、风速都是离散型变量，适合采用上面的多项式贝叶斯分类方法。将上面的公式写在这里便于查看。

我们需要计算 两种情况下， 的估算概率。

统计上表中各种情况下的样本数量可知：

总样本数 m=14

打球(k=yes)的样本数 = 9

不打球(k=no)的样本数 = 5

天气的取值 （Sunny/Overcast/Rain）

晴天打球(k=yes,j=Outlook,s=sunny)的样本数

晴天不打球(k=no,j=Outlook,s=sunny)的样本数

温度的取值 （Hot/Mild/Cool）

冷天打球(k=yes,j=Temperature,s=cool)的样本数

冷天不打球(k=no,j=Temperature,s=cool)的样本数

湿度的取值 （High/Normal）

潮湿天打球(k=yes,j=Humidity,s=high)的样本数

潮湿天不打球(k=no,j=Humidity,s=high)的样本数

风力的取值 （Strong/Weak）

大风天打球(k=yes,j=Wind,s=strong)的样本数

大风天不打球(k=no,j=Wind,s=strong)的样本数

将上述数据代入公式(11)，对于样本 ，打球(k=yes)的概率

不打球(k=nos)的概率

这里 001822 > 0007084，所以该同学可能不会去打球。经过归一化，

不打球的概率 = 001822 / (001822 + 0007084) = 72%

（注：这里计算结果与原案例中的数值不同，因为这里有做拉普拉斯平滑，原案例中没有。本案例中其实没有出现特定特征的样本数为0的情况，可以不用做拉普拉斯平滑，不过这里是按照公式写下来的，就按公式计算了）

另外注意到伯努利分布其实是多项式分布的特例，所以我们可以用上面公式(12)计算，也可以用之前多项式分布公式(11)计算。

垃圾邮件分类等涉及文本的任务中可以采用伯努利分布，比如构造一个5000个不同单词的向量作为输入特征x，对于一段文本，其中有出现的单词，在x中对应单词的位置设为1，其它位置为0，这样x中的每个特征（单词）的取值为1或0，符合伯努利分布。

案例请参考 维基百科 - 案例 - 性别分类

处理连续数值问题的另一种常用的技术是通过 离散化连续数值 的方法。通常，当训练样本数量较少或者是精确的分布已知时，通过概率分布的方法是一种更好的选择。

而在大量样本的情形下离散化的方法表现更优，因为大量的样本可以学习到数据的实际分布，而不用“朴素”的假设其分布。典型情况下很多任务都会提供大量的样本，所以这时选择离散化方法会比概率分布估计的方法更好。

顺便说一句，每次看到朴素这个词，我就仿佛看到贝叶斯穿着一身打满补丁衣服的样子。而naive意思是缺乏经验的；幼稚的；无知的；轻信的。从公式推导过程来看，朴素贝叶斯分类器采用了一些简化条件的假设，比如假设 x 的各特征 是条件独立的，假设样本特征数据符合多项式分布、伯努利分布、高斯分布等，这些假设都可能不完全符合实际情况，因为对险恶的现实世界的无知从而采用了一些天真的假设。

不过，朴素还有一层含义是专一、纯粹，在这个意义上，贝叶斯分类也算大道至简，大智若愚了。

朴素贝叶斯的主要优点有：

1）算法简单，有稳定的分类效率。

2）对小规模的数据表现很好，能个处理多分类任务，适合增量式训练，尤其是数据量超出内存时，我们可以一批批的去增量训练。

3）对缺失数据不太敏感。

朴素贝叶斯的主要缺点有：　　　

1）“朴素”的假设如果与实际情况不符，会影响模型效果。

2）输入特征数据的表现形式，比如是连续特征，离散特征还是二元特征，会影响概率计算和模型的分类效果。

朴素贝叶斯算法原理小结

朴素贝叶斯分类器

维基百科 - Naive Bayes classifier

理解贝叶斯定理

朴素贝叶斯分类器是一种非常有效的机器学习分类算法，它利用先验知识和数据特征来预测新样本的类别。它的优势在于模型构建比较简单，可以解决多类别分类问题，模型参数比较简单，可以处理大量维度的数据，可以应用于数值型、离散型和混合型的数据，在处理复杂的分类问题时，它的性能比其他分类算法要好，这也是它作为最常用的分类器的原因。

在此推出一个算法系列的科普文章。我们大家在平时埋头工程类工作之余，也可以抽身对一些常见算法进行了解，这不仅可以帮助我们拓宽思路，从另一个维度加深对计算机技术领域的理解，做到触类旁通，同时也可以让我们搞清楚一些既熟悉又陌生的领域——比如数据挖掘、大数据、机器学习——的基本原理，揭开它们的神秘面纱，了解到其实很多看似高深的领域，其实背后依据的基础和原理也并不复杂。而且，掌握各类算法的特点、优劣和适用场景，是真正从事数据挖掘工作的重中之重。只有熟悉算法，才可能对纷繁复杂的现实问题合理建模，达到最佳预期效果。

本系列文章的目的是力求用最干练而生动的讲述方式，为大家讲解由国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 于2006年12月评选出的数据挖掘领域的十大经典算法。它们包括：

本文作为本系列的第一篇，在介绍具体算法之前，先简单为大家铺垫几个数据挖掘领域的常见概念：

在数据挖掘领域，按照算法本身的行为模式和使用目的，主要可以分为分类(classification)，聚类(clustering)和回归(regression)几种，其中：

打几个不恰当的比方 ：

另外，还有一个经常有人问起的问题，就是 数据挖掘 和 机器学习 这两个概念的区别，这里一句话阐明我自己的认识：机器学习是基础，数据挖掘是应用。机器学习研制出各种各样的算法，数据挖掘根据应用场景把这些算法合理运用起来，目的是达到最好的挖掘效果。

当然，以上的简单总结一定不够准确和严谨，更多的是为了方便大家理解打的比方。如果大家有更精当的理解，欢迎补充和交流。

好了，铺垫了这么多，现在终于进入正题！

作为本系列入门的第一篇，先为大家介绍一个容易理解又很有趣的算法—— 朴素贝叶斯 。

先站好队，朴素贝叶斯是一个典型的 有监督的分类算法 。

光从名字也可以想到，要想了解朴素贝叶斯，先要从 贝叶斯定理 说起。

贝叶斯定理是我们高中时代学过的一条概率学基础定理，它描述了条件概率的计算方式。不要怕已经把这些知识还给了体育老师，相信你一看公式就能想起来。

P(A|B)表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式为：

其中，P(AB)表示A和B同时发生的概率，P(B)标识B事件本身的概率。

贝叶斯定理之所以有用，是因为我们在生活中经常遇到这种情况：我们可以很容易直接得出P(A|B)，P(B|A)则很难直接得出，但我们更关心P(B|A)。

而贝叶斯定理就为我们打通从P(A|B)获得P(B|A)的道路。

下面不加证明地直接给出贝叶斯定理：

有了贝叶斯定理这个基础，下面来看看朴素贝叶斯算法的基本思路。

你看，其思想就是这么的朴素。那么，属于每个分类的概率该怎么计算呢？下面我们先祭出形式化语言！

那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做：

因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有：

如果你也跟我一样，对形式化语言有严重生理反应，不要怕，直接跳过前面这一坨，我们通过一个鲜活的例子，用人类的语言再解释一遍这个过程。

某个医院早上收了六个门诊病人，如下表。

现在又来了第七个病人，是一个打喷嚏的建筑工人。请问他最有可能患有何种疾病？

本质上，这就是一个典型的分类问题， 症状 和 职业 是特征属性， 疾病种类 是目标类别

根据 贝叶斯定理

可得

假定"打喷嚏"和"建筑工人"这两个特征是独立的，因此，上面的等式就变成了

这是可以计算的。

因此，这个打喷嚏的建筑工人，有66%的概率是得了感冒。同理，可以计算这个病人患上过敏或脑震荡的概率。比较这几个概率，就可以知道他最可能得什么病。

接下来，我们再举一个朴素贝叶斯算法在实际中经常被使用的场景的例子—— 文本分类器 ，通常会用来识别垃圾邮件。

首先，我们可以把一封邮件的内容抽象为由若干关键词组成的集合，这样是否包含每种关键词就成了一封邮件的特征值，而目标类别就是 属于垃圾邮件 或 不属于垃圾邮件

假设每个关键词在一封邮件里出现与否的概率相互之间是独立的，那么只要我们有若干已经标记为垃圾邮件和非垃圾邮件的样本作为训练集，那么就可以得出，在全部垃圾邮件（记为Trash）出现某个关键词Wi的概率，即 P(Wi|Trash)

而我们最重要回答的问题是，给定一封邮件内容M，它属于垃圾邮件的概率是多大，即 P(Trash|M)

根据贝叶斯定理，有

我们先来看分子：

P(M|Trash) 可以理解为在垃圾邮件这个范畴中遇见邮件M的概率，而一封邮件M是由若干单词Wi独立汇聚组成的，只要我们所掌握的单词样本足够多，因此就可以得到

这些值我们之前已经可以得到了。

再来看分子里的另一部分 P(Trash) ，这个值也就是垃圾邮件的总体概率，这个值显然很容易得到，用训练集中垃圾邮件数除以总数即可。

而对于分母来说，我们虽然也可以去计算它，但实际上已经没有必要了，因为我们要比较的 P(Trash|M) 和 P(non-Trash|M) 的分母都是一样的，因此只需要比较分子大小即可。

这样一来，我们就可以通过简单的计算，比较邮件M属于垃圾还是非垃圾二者谁的概率更大了。

朴素贝叶斯的英文叫做 Naive Bayes ，直译过来其实是 天真的贝叶斯 ，那么他到底天真在哪了呢？

这主要是因为朴素贝叶斯的基本假设是所有特征值之间都是相互独立的，这才使得概率直接相乘这种简单计算方式得以实现。然而在现实生活中，各个特征值之间往往存在一些关联，比如上面的例子，一篇文章中不同单词之间一定是有关联的，比如有些词总是容易同时出现。

因此，在经典朴素贝叶斯的基础上，还有更为灵活的建模方式—— 贝叶斯网络（Bayesian Belief Networks, BBN） ，可以单独指定特征值之间的是否独立。这里就不展开了，有兴趣的同学们可以做进一步了解。

最后我们来对这个经典算法做个点评：

优点：

缺点：

好了，对于 朴素贝叶斯 的介绍就到这里，不知道各位看完之后是否会对数据挖掘这个领域产生了一点兴趣了呢？

本次实验将加载两个数据，一个是已经标注好的用户评论数据，另外一个是用户评价主题句，通过标注过的用户评论数据进行基于集成模型的情感极性模型训练，然后利用模型对主题句进行情感极性推理，最后通过数据聚合可视化得出主题情感极性。

使用 Pandas 加载在线数据表格，并查看数据维度和前 5 行数据。

数据属性如下表所示

加载我们之前通过主题词典提取出来的主题句。

数据属性如下表所示

用户评论分词

jieba 分词器预热，第一次使用需要加载字典和缓存，通过结果看出返回的是分词的列表。

批量对用户评价进行分词，需要一些时间，并打印第一行情感极性训练集的分词结果。

批量对用户评价主题句进行分词，并打印第一句用户主题句分词结果。

依据统计学模型假设，假设用户评论中的词语之间相互独立，用户评价中的每一个词语都是一个特征，我们直接使用 TF-IDF 对用户评价提取特征，并对提取特征后的用户评价输入分类模型进行分类，将类别输出为积极的概率作为用户极性映射即可。

用户评论向量化

TF-IDF 是一种用于信息检索与数据挖掘的常用加权技术，当某个词在文章中的TF-IDF越大，那么一般而言这个词在这篇文章的重要性会越高，比较适合对用户评论中的关键词进行量化。

数据集合划分

按照训练集 8 成和测试集 2 成的比例对数据集进行划分，并检查划分之后的数据集数量。

我们在系列实验的开始使用朴素贝叶斯模型来训练情感分析模型，下面我们新增逻辑回归模型作为对比模型。逻辑回归（Logistic Regression）是一种用于解决二分类问题的机器学习方法，在线性回归的基础上，套用了一个 sigmod 函数，这个函数将线性结果映射到一个概率区间，并且通常以 05 分界线，这就使得数据的分类结果都趋向于在 0 和 1 两端，将用户评论进行向量化之后也可以用此方式预测用户情感。本实验直接对标注过的用户情感数据进行训练，并验证单一模型和集成模型在情感分析性能上的差异。

模型加载

通过传入原始的标签和预测的标签可以直接将分类器性能进行度量，利用常用的分类模型评价指标对训练好的模型进行模型评价，accuracy_score 评价被正确预测的样本占总样本的比例，Precision 是衡量模型精确率的指标，它是指模型识别出的文档数与识别的文档总数的比率，衡量的是模型的查准率。Recall 召回率也称为敏感度，它是指模型识别出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率，表示正样本在被正确划分样本中所占的比例，f1_score 值是精确率与召回率的调和平均数，是一个综合性的指数。

我们分别对不同模型使用相同的数据集进行训练和测试，以此来比较单模型之间的差异，并打印模型运行时间供大家参考，批量处理不同的模型需要一些时间进行计算，清耐心等待。

通过求得的指标进行模型评价，我们发现使用相同的数据进行模型训练，朴素贝叶斯模型和逻辑回归模型性能基本持平，相差很微弱，逻辑回归稍稍占一些优势。

Stacking 堆栈模型训练

集成学习是地结合来自两个或多个基本机器学习算法的优势，学习如何最好地结合来自多个性能良好的机器学习模型的预测结果，并作出比集成中的任何一个模型更好的预测。主要分为 Bagging， Boosting 和 Stacking，Stacking 堆栈模型是集成机器学习模型的一种，具体是将训练好的所有基模型对整个训练集进行预测，然后将每个模型输出的预测结果合并为新的特征，并加以训练。主要能降低模型的过拟合风险，提高模型的准确度。

开始对两个模型进行集成训练，训练的时间要比单一模型时间久一些，清耐心等待。

评测结果收集。

结果分析

将结果存入 Dataframe 进行结果分析，lr 表示逻辑回归，nb 表示朴素贝叶斯，model_stacking 将两个单模型集成后的模型。从结果来看集成模型准确度和 f1 值都是最高的，结合两个模型的优势，整体预测性能更好，鲁棒性更好。

样例测试

通过测试样例发现，分类器对正常的积极和消极判断比较好。但是当我们改变语义信息，情感模型则不能进行识别，模型鲁棒性较差。作为早期的文本分类模型，我们使用 TFIDF 的特征提取方式并不能很好的解决语义问题，自然语言是带有语序和语义的关联，其词语之间的关联关系影响整句话的情感极性，后续我们继续试验深度情感分析模型研究解决此类问题。

加载民宿主题数据。

模型预测

将情感分析模型推理的结果写入 DataFrame 中进行聚合。

单主题聚合分析

挑选一个主题进行主题情感分析。

对民宿“设施”进行描述统计，此次我们使用主题词典的出来的用户关于民宿“设施”主体的讨论条数为 4628 条，平均用户情感极性为 040 表示为整体呈现不满意的情况，有超过一半的关于“设施”的民宿评论中表现用户不满意的情况，重庆民宿需要在“设施”进行改善，以此提高用户满意度。

单主题情感极性可视化

我们开始进行“设置”主题下的用户主题情感进行可视化，首先加载画图模块。

对“设施”主题下的用户情感极性进行可视化，我们利用集成模型对主题句进行情感极性预测，如下所示。