用Python对用户的评论数据进行情感倾向分析

本文可以学习到以下内容：

数据及源码地址： https://giteecom/myrensheng/data_analysis

小凡，用户对耳机商品的评论信息，你有没有什么好的办法分析一下？经理来向小凡请教问题。

嗯，小凡想了一会儿

我想到了两种分析方法：

经理听完，甚是欣慰，便让小凡着手分析用户的评论数据。

数据解释：

小凡使用百度飞浆（paddlepaddle）模型库中的情感分析模型，将评论数据（content）转化为情感类别积极1，消极0

一、window10+anaconda3的安装命令：

二、安装预训练模型应用工具 PaddleHub

可以看到，大约 60% 的用户给出好评

用户的评论内容多集中在配置、音质等主题上

这里使用百度飞浆的LAC分词模型

分析结束后，小凡总结出以下结论：

小凡将结论汇报给经理，和经理一起想出一个可行的方案解决目前存在的问题。

情感分析（Sentiment Analysis）

第一步，就是确定一个词是积极还是消极，是主观还是客观。这一步主要依靠词典。

英文已经有伟大词典资源：SentiWordNet 无论积极消极、主观客观，还有词语的情感强度值都一并拿下。

但在中文领域，判断积极和消极已经有不少词典资源，如Hownet，NTUSD但用过这些词典就知道，效果实在是不咋滴（最近还发现了大连理工发布的情感词汇本体库，不过没用过，不好评价）。中文这方面的开源真心不够英文的做得细致有效。而中文识别主客观，那真的是不能直视。

中文领域难度在于：词典资源质量不高，不细致。另外缺乏主客观词典。

第二步，就是识别一个句子是积极还是消极，是主观还是客观。

有词典的时候，好办。直接去匹配看一个句子有什么词典里面的词，然后加总就可以计算出句子的情感分值。

但由于不同领域有不同的情感词，比如看上面的例子，“蓝屏”这个词一般不会出现在情感词典之中，但这个词明显表达了不满的情绪。因此需要另外根据具体领域构建针对性的情感词典。

如果不那么麻烦，就可以用有监督的机器学习方法。把一堆评论扔到一个算法里面训练，训练得到分类器之后就可以把评论分成积极消极、主观客观了。

分成积极和消极也好办，还是上面那个例子。5颗星的评论一般来说是积极的，1到2颗星的评论一般是消极的，这样就可以不用人工标注，直接进行训练。但主客观就不行了，一般主客观还是需要人来判断。加上中文主客观词典不给力，这就让机器学习判断主客观更为困难。

中文领域的难度：还是词典太差。还有就是用机器学习方法判断主客观非常麻烦，一般需要人工标注。

另外中文也有找到过资源，比如这个用Python编写的类库：SnowNLP 就可以计算一句话的积极和消极情感值。但我没用过，具体效果不清楚。

到了第三步，情感挖掘就升级到意见挖掘（Opinion Mining）了。

这一步需要从评论中找出产品的属性。拿手机来说，屏幕、电池、售后等都是它的属性。到这一步就要看评论是如何评价这些属性的。比如说“屏幕不错”，这就是积极的。“电池一天都不够就用完了，坑爹啊”，这就是消极的，而且强度很大。

这就需要在情感分析的基础上，先挖掘出产品的属性，再分析对应属性的情感。

分析完每一条评论的所有属性的情感后，就可以汇总起来，形成消费者对一款产品各个部分的评价。

接下来还可以对比不同产品的评价，并且可视化出来。如图。

这一步的主要在于准确挖掘产品属性（一般用关联规则），并准确分析对应的情感倾向和情感强度。因此这需要情感分析作为基础。首先要找到评论里面的主观句子，再找主观句子里的产品属性，再计算属性对应的情感分。所以前面基础不牢固，后面要准确分析就有难度。

中文这个领域的研究其实很完善了，技术也很成熟。但需要完善前期情感分析的准确度。

总的来说，就是中文词典资源不好，工作做得不是很细很准。前期的一些基础不牢固，后面要得到准确的分析效果就不容易了。

1、意思是：飞鸟和鱼注定是两种不会有交集的物种，即使偶然相遇，也不会是同路人，懂得这个道理后，从此山山水水，都不必再等着有相逢的那天。

2、山水不再相逢，意指相互喜欢的人以后不会再见，就这样让彼此相忘于江湖，不再提起对方的好与坏。含义有点凄凉，或者说无奈，失落，决绝，令人不忍回首。

3、鱼和鸟不再相遇，山和水也不再相逢，不再关心对方的好坏，就是表达自己的一种决心。反义句是原来天水共一色，只待鱼与鸟齐飞。

情感分析：

女生发这样的话意思就是要决绝的离开，就像鱼和鸟不再相遇，山和水也不再相逢，不再关心对方的好坏，就是表达自己的一种决心。

飞鸟与鱼是不可以在一起的，虽然彼此相爱，但是鱼终归是水里的鱼，飞鸟终归是天上的飞鸟，飞鸟离开了那片海域，永远的再也没有回来，它并不知道，鱼亦再没有游回这片海域，它们都在小心翼翼地躲避那段往事，那段飞鸟与鱼的故事。

很多人并不了解情感分析师到底是个怎样的职业，包括，某些自称是情感分析师的人。感情，是人类思维中最复杂的领域。因为感情没有标准，也难分对与错，只有爱与不爱。所以，很多只做对事的人，也有可能被所爱之人厌烦离弃；而有些常做错事的人，也照样有可能让人爱得难分难舍。

正是基于感情的复杂性，是不可能三言两语说得清的。所以，我的分析流程与绝大多数的情感分析师不同。对于首次咨询，我要求咨询者必须提供五千字以上的情况综述。综述包括个人成长经历、求学经历、工作经历、恋爱经历、家庭背景、直系亲属关系、婚恋对象情况、完整的感情发展过程、双方的原话对话记录、以及两性生活等各方面的信息。

有人可能觉得，这简直是查户口嘛。这么说还真没错，我所想要了解的信息，可能比户籍警所要了解的还细致。也为此婉拒过不少懒得写、或者写不了情况综述的咨询者。原因有三：

一、我个人认为，若一个遭遇感情难题的人，连写五千字的耐心都没有，那么，我很难相信TA在感情问题的对待上，有足够的意志和决心；又或是连写五千字的能力都没有的人，那么，我很难相信TA在相互交流的过程中，有足够的感悟力和理解力。

二、之所以先看写的，而不是去听说的，是因为，如果听，只能听一遍，我还未必记得住；而看文字，可以看几遍、甚至十几遍。这个世界上，在脑袋上画几个圈就能想出绝妙主意的人，就只有动画片里的一休。开国大将粟裕是我军百战百胜的战神，在指挥淮海战役时曾七天七夜未合眼。他在干什么？——看战报、看地图。从某种意义上讲，战争，就是两方指挥官的心理博弈，只有掌握详细和精准的战场信息，准确的分析出对战方的真实意图，自己才能做出最正确的应对。不仅是战场如此，无论在商场、职场、还是情场，概莫如此。

有足够的信息量支撑，才叫分析、推理；没有信息量支撑，那不叫分析，而是猜测、臆想。

三、感情里的很多细节需要换位思考，是要以当事人的性别、性格、思维、行事方式去思考问题。感情中的问题，其实不是事的问题，而是人的问题。只有先了解人，才有资格讨论事。

可能不少人看过我在知乎上的答复，对于公开咨询的，我并不会追问详情，答复都是从大众角度给出的。而私密分析不同，需要从感情双方的个体角度，分析具体到个人的性格、思维以及心理，而不是泛泛的男性心理、女性心理。

我常说一句话：没有任何一种方法可以解决百家问题，哪怕，是相同的问题。因为每段感情里，双方的性格对位都是不同的。什么是性格对位呢？打个俗气的比方。比如，诸葛亮的空城计，就只能由他用在司马懿身上。因为诸葛亮知道司马懿多疑，而司马懿知道诸葛亮多谋，如此，空城计才能有效。倘若是司马懿对着张飞用空城计会是什么结果？——城必破。因为以张飞鲁莽的性格，他才不管你城中有多少兵，先攻了再说。这，就是性格对位。

感情中亦是如此，在别种性格的人那里是解决问题的好方法，但未必到我们这里同样有效。

有些人以为情感分析师是份很轻松的工作，只要凭经验就能张口即来为咨询者提供建议。我不知道别人轻不轻松，我只知道自己的工作没那么轻松。经常会收到咨询者上万字的情况综述，还有少则几千、多则几万条微信、QQ等对话记录。单只是完整的看一遍，有的就需要花四五个小时，再加上思考分析的时间，往往合计是个小时以上。

读到这里，估计有不少人会感叹：你的情感分析，为何如此麻烦。

是的，很麻烦。连我本人都觉得麻烦。但真正的情感分析，原本就是个很费脑力的工作。

如果我们对自己过去所经历的事都没有一个清晰的认知，那么，我们有何资本谈掌控未来？如果我们不能转变原有的那种使自己陷入问题之中的思维，那么，我们凭什么能获得与之前不一样的结果？

我也不愿意给自己找麻烦，但深知，作为情感分析师，就需要对自己的分析负责，因为，给咨询者的每一个建议，都有可能改变其一生的感情生活轨迹。更有甚者，是生与死。

一定会有人觉得这是危言耸听。我说一个真实的事件：有一个刚入行不久的心理咨询师，在某论坛讲述自己遇到的心理咨询个案，一个女孩为情所伤，向他寻求帮助，在咨询的过程中女孩就有透露自己想要轻生的念头。这位年轻的咨询师天天安慰她，但数日之后，女孩还是选择了离开这个世界。事后还有警察登门做调查，因为女孩最后几个通话记录里有他的电话号码。然后他给警察看了与该女孩QQ里的咨询对话记录。自然，他并没有嫌疑。但他还是为此感到痛心与难过。

有人留言安慰这个年轻的咨询师：“你好心帮她，已经很尽力了，她一心求死，这不是你的责任。”

看这位咨询师的叙述，能从其行文中感觉出他是个很善良的人，所以他才会为女孩的离世深感痛心。这样一位好心人，我自然不会发言增加他的自责心理。但今天在自己的文章中，我想说是：单有好心是不行的。正是因为这位年轻咨询师的好心，断送了女孩最后的求生机会。

该女孩在结束生命之前，还肯找心理咨询师寻求心理疏导，说明她去意不绝，说明她也想摆脱这种轻生的想法。这求生与求死，就在一念之间。当一个咨询师，连咨询者的真实心理都摸不清，单只是积极安慰有何用？若是说不到当事人的心里，那么说再多正确的话、再多有理的话，也统统都是废话！一个咨询师若不能懂得咨询者的心理，那么，早早劝其求助资深咨询师，便是对咨询者最大的负责。

在我书中的序言里有一句话：作为一名情感咨询师，如果无法做到与咨询者感同身受，那便是不合适这个职业的。