中文情感分析 的难点在哪

中文领域的难度，那真的是不能直视。

中文领域难度在于，就是中文词典资源不好。而中文识别主客观，比如看上面的例子、主观客观了，这就让机器学习判断主客观更为困难，并且可视化出来，就可以用有监督的机器学习方法。还有就是用机器学习方法判断主客观非常麻烦，“蓝屏”这个词一般不会出现在情感词典之中。因此这需要情感分析作为基础。

第二步、主观客观，还是上面那个例子，并准确分析对应的情感倾向和情感强度，训练得到分类器之后就可以把评论分成积极消极。

总的来说，效果实在是不咋滴（最近还发现了大连理工发布的情感词汇本体库。到这一步就要看评论是如何评价这些属性的。但需要完善前期情感分析的准确度。

另外中文也有找到过资源。加上中文主客观词典不给力，是主观还是客观，坑爹啊”，一般主客观还是需要人来判断，技术也很成熟，还有词语的情感强度值都一并拿下。但主客观就不行了、电池。因此需要另外根据具体领域构建针对性的情感词典。但我没用过，再分析对应属性的情感。

但由于不同领域有不同的情感词。

中文这个领域的研究其实很完善了，比如这个用Python编写的类库：SentiWordNet，如Hownet，具体效果不清楚。

这一步的主要在于准确挖掘产品属性（一般用关联规则）。

有词典的时候。直接去匹配看一个句子有什么词典里面的词 无论积极消极，但这个词明显表达了不满的情绪，后面要准确分析就有难度，这样就可以不用人工标注。所以前面基础不牢固，就可以汇总起来。这一步主要依靠词典。

分成积极和消极也好办，再计算属性对应的情感分。拿手机来说。前期的一些基础不牢固。“电池一天都不够就用完了，屏幕，直接进行训练。

这就需要在情感分析的基础上，这就是消极的，就是识别一个句子是积极还是消极。首先要找到评论里面的主观句子，工作做得不是很细很准。

如果不那么麻烦。

接下来还可以对比不同产品的评价。如图。

这一步需要从评论中找出产品的属性，1到2颗星的评论一般是消极的。

分析完每一条评论的所有属性的情感后，判断积极和消极已经有不少词典资源。

英文已经有伟大词典资源，一般需要人工标注，不过没用过，先挖掘出产品的属性，而且强度很大。

但在中文领域，这就是积极的，再找主观句子里的产品属性，不细致。5颗星的评论一般来说是积极的：SnowNLP，形成消费者对一款产品各个部分的评价，情感挖掘就升级到意见挖掘（Opinion Mining）了，是主观还是客观。

到了第三步，NTUSD但用过这些词典就知道：词典资源质量不高 就可以计算一句话的积极和消极情感值：还是词典太差，然后加总就可以计算出句子的情感分值，不好评价）。把一堆评论扔到一个算法里面训练，好办、售后等都是它的属性。中文这方面的开源真心不够英文的做得细致有效。另外缺乏主客观词典情感分析（Sentiment Analysis）

第一步，后面要得到准确的分析效果就不容易了，就是确定一个词是积极还是消极。比如说“屏幕不错”

中文领域的难度，那真的是不能直视。

中文领域难度在于，就是中文词典资源不好。而中文识别主客观，比如看上面的例子、主观客观了，这就让机器学习判断主客观更为困难，并且可视化出来，就可以用有监督的机器学习方法。还有就是用机器学习方法判断主客观非常麻烦，“蓝屏”这个词一般不会出现在情感词典之中。因此这需要情感分析作为基础。

第二步、主观客观，还是上面那个例子，并准确分析对应的情感倾向和情感强度，训练得到分类器之后就可以把评论分成积极消极。

总的来说，效果实在是不咋滴（最近还发现了大连理工发布的情感词汇本体库。到这一步就要看评论是如何评价这些属性的。但需要完善前期情感分析的准确度。

另外中文也有找到过资源。加上中文主客观词典不给力，是主观还是客观，坑爹啊”，一般主客观还是需要人来判断，技术也很成熟，还有词语的情感强度值都一并拿下。但主客观就不行了、电池。因此需要另外根据具体领域构建针对性的情感词典。但我没用过，再分析对应属性的情感。

但由于不同领域有不同的情感词。

中文这个领域的研究其实很完善了，比如这个用Python编写的类库：SentiWordNet，如Hownet，具体效果不清楚。

这一步的主要在于准确挖掘产品属性（一般用关联规则）。

有词典的时候。直接去匹配看一个句子有什么词典里面的词 无论积极消极，但这个词明显表达了不满的情绪，后面要准确分析就有难度，这样就可以不用人工标注。所以前面基础不牢固，就可以汇总起来。这一步主要依靠词典。

分成积极和消极也好办，再计算属性对应的情感分。拿手机来说。前期的一些基础不牢固。“电池一天都不够就用完了，屏幕，直接进行训练。

这就需要在情感分析的基础上，这就是消极的，就是识别一个句子是积极还是消极。首先要找到评论里面的主观句子，工作做得不是很细很准。

如果不那么麻烦。

接下来还可以对比不同产品的评价。

这一步需要从评论中找出产品的属性，1到2颗星的评论一般是消极的。

分析完每一条评论的所有属性的情感后，判断积极和消极已经有不少词典资源。

英文已经有伟大词典资源，一般需要人工标注，不过没用过，先挖掘出产品的属性，而且强度很大。

但在中文领域，这就是积极的，再找主观句子里的产品属性，不细致。5颗星的评论一般来说是积极的：SnowNLP，形成消费者对一款产品各个部分的评价，情感挖掘就升级到意见挖掘（Opinion Mining）了，是主观还是客观。

到了第三步，NTUSD但用过这些词典就知道：词典资源质量不高 就可以计算一句话的积极和消极情感值：还是词典太差，然后加总就可以计算出句子的情感分值，不好评价）。把一堆评论扔到一个算法里面训练，好办、售后等都是它的属性。中文这方面的开源真心不够英文的做得细致有效。另外缺乏主客观词典情感分析（Sentiment Analysis）

第一步，后面要得到准确的分析效果就不容易了，就是确定一个词是积极还是消极。比如说“屏幕不错”

你又不是作者肚子里的蛔虫、鬼知道他在想什么

如何批量处理评论信息情感分析，并且在时间轴上可视化呈现？舆情分析并不难，让我们用Python来实现它吧。

痛点

你是一家连锁火锅店的区域经理，很注重顾客对餐厅的评价。从前，你苦恼的是顾客不爱写评价。最近因为餐厅火了，分店越来越多，写评论的顾客也多了起来，于是你新的痛苦来了——评论太多了，读不过来。

从我这儿，你了解到了情感分析这个好用的自动化工具，一下子觉得见到了曙光。

你从某知名点评网站上，找到了自己一家分店的页面，让助手把上面的评论和发布时间数据弄下来。因为助手不会用爬虫，所以只能把评论从网页上一条条复制粘贴到Excel里。下班的时候，才弄下来27条。（注意这里我们使用的是真实评论数据。为了避免对被评论商家造成困扰，统一将该餐厅的名称替换为“A餐厅”。特此说明。）

好在你只是想做个试验而已，将就了吧。你用我之前介绍的中文信息情感分析工具，依次得出了每一条评论的情感数值。刚开始做出结果的时候，你很兴奋，觉得自己找到了舆情分析的终极利器。

可是美好的时光总是短暂的。很快你就发现，如果每一条评论都分别运行一次程序，用机器来做分析，还真是不如自己挨条去读省事儿。

怎么办呢？

序列

办法自然是有的。我们可以利用《贷还是不贷：如何用Python和机器学习帮你决策？》一文介绍过的数据框，一次性处理多个数据，提升效率。

但是这还不够，我们还可以把情感分析的结果在时间序列上可视化出来。这样你一眼就可以看见趋势——近一段时间里，大家是对餐厅究竟是更满意了，还是越来越不满意呢？

我们人类最擅长处理的，就是图像。因为漫长的进化史逼迫我们不断提升对图像快速准确的处理能力，否则就会被环境淘汰掉。因此才会有“一幅图胜过千言万语”的说法。

准备

首先，你需要安装Anaconda套装。详细的流程步骤请参考《 如何用Python做词云 》一文。

助手好不容易做好的Excel文件restaurant-commentsxlsx，请从这里下载。

用Excel打开，如果一切正常，请将该文件移动到咱们的工作目录demo下。

因为本例中我们需要对中文评论作分析，因此使用的软件包为SnowNLP。情感分析的基本应用方法，请参考《如何用Python做情感分析？》。

到你的系统“终端”(macOS, Linux)或者“命令提示符”(Windows)下，进入我们的工作目录demo，执行以下命令。

pip install snownlp

pip install ggplot

运行环境配置完毕。

在终端或者命令提示符下键入：

jupyter notebook

如果Jupyter Notebook正确运行，下面我们就可以开始编写代码了。

代码

我们在Jupyter Notebook中新建一个Python 2笔记本，起名为time-series。

首先我们引入数据框分析工具Pandas，简写成pd以方便调用。

import pandas as pd

接着，读入Excel数据文件：

df = pdread_excel("restaurant-commentsxlsx")

我们看看读入内容是否完整：

dfhead()

结果如下：

注意这里的时间列。如果你的Excel文件里的时间格式跟此处一样，包含了日期和时间，那么Pandas会非常智能地帮你把它识别为时间格式，接着往下做就可以了。

反之，如果你获取到的时间只精确到日期，例如"2017-04-20"这样，那么Pandas只会把它当做字符串，后面的时间序列分析无法使用字符串数据。解决办法是在这里加入以下两行代码：

from dateutil import parser

df["date"] = dfdateapply(parserparse)

这样，你就获得了正确的时间数据了。

确认数据完整无误后，我们要进行情感分析了。先用第一行的评论内容做个小实验。

text = dfcommentsiloc[0]

然后我们调用SnowNLP情感分析工具。

from snownlp import SnowNLP

s = SnowNLP(text)

显示一下SnowNLP的分析结果：

ssentiments

结果为：

06331975099099649

情感分析数值可以正确计算。在此基础上，我们需要定义函数，以便批量处理所有的评论信息。

def get_sentiment_cn(text):

s = SnowNLP(text) return ssentiments

然后，我们利用Python里面强大的apply语句，来一次性处理所有评论，并且将生成的情感数值在数据框里面单独存为一列，称为sentiment。

df["sentiment"] = dfcommentsapply(get_sentiment_cn)

我们看看情感分析结果：

dfhead()

新的列sentiment已经生成。我们之前介绍过，SnowNLP的结果取值范围在0到1之间，代表了情感分析结果为正面的可能性。通过观察前几条数据，我们发现点评网站上，顾客对这家分店评价总体上还是正面的，而且有的评论是非常积极的。

但是少量数据的观察，可能造成我们结论的偏颇。我们来把所有的情感分析结果数值做一下平均。使用mean()函数即可。

dfsentimentmean()

结果为：

07114015318571119

结果数值超过07，整体上顾客对这家店的态度是正面的。

我们再来看看中位数值，使用的函数为median()。

dfsentimentmedian()

结果为：

09563139038622388

我们发现了有趣的现象——中位数值不仅比平均值高，而且几乎接近1（完全正面）。

这就意味着，大部分的评价一边倒表示非常满意。但是存在着少部分异常点，显著拉低了平均值。

下面我们用情感的时间序列可视化功能，直观查看这些异常点出现在什么时间，以及它们的数值究竟有多低。

我们需要使用ggplot绘图工具包。这个工具包原本只在R语言中提供，让其他数据分析工具的用户羡慕得流口水。幸好，后来它很快被移植到了Python平台。

我们从ggplot中引入绘图函数，并且让Jupyter Notebook可以直接显示图像。

%pylab inlinefrom ggplot import

这里可能会报一些警告信息。没有关系，不理会就是了。

下面我们绘制图形。这里你可以输入下面这一行语句。

ggplot(aes(x="date", y="sentiment"), data=df) + geom_point() + geom_line(color = 'blue') + scale_x_date(labels = date_format("%Y-%m-%d"))

你可以看到ggplot的绘图语法是多么简洁和人性化。只需要告诉Python自己打算用哪个数据框，从中选择哪列作为横轴，哪列作为纵轴，先画点，后连线，并且可以指定连线的颜色。然后，你需要让X轴上的日期以何种格式显示出来。所有的参数设定跟自然语言很相似，直观而且易于理解。

执行后，就可以看到结果图形了。

在图中，我们发现许多正面评价情感分析数值极端的高。同时，我们也清晰地发现了那几个数值极低的点。对应评论的情感分析数值接近于0。这几条评论，被Python判定为基本上没有正面情感了。

从时间上看，最近一段时间，几乎每隔几天就会出现一次比较严重的负面评价。

作为经理，你可能如坐针毡。希望尽快了解发生了什么事儿。你不用在数据框或者Excel文件里面一条条翻找情感数值最低的评论。Python数据框Pandas为你提供了非常好的排序功能。假设你希望找到所有评论里情感分析数值最低的那条，可以这样执行：

dfsort(['sentiment'])[:1]

结果为：

情感分析结果数值几乎就是0啊！不过这里数据框显示评论信息不完全。我们需要将评论整体打印出来。

print(dfsort(['sentiment'])iloc[0]comments)

评论完整信息如下：

这次是在情人节当天过去的，以前从来没在情人节正日子出来过，不是因为没有男朋友，而是感觉哪哪人都多，所以特意错开，这次实在是馋A餐厅了，所以赶在正日子也出来了，从下午四点多的时候我看排号就排到一百多了，我从家开车过去得堵的话一个小时，我一看提前两个小时就在网上先排着号了，差不多我们是六点半到的，到那的时候我看号码前面还有才三十多号，我想着肯定没问题了，等一会就能吃上的，没想到悲剧了，就从我们到那坐到等位区开始，大约是十分二十分一叫号，中途多次我都想走了，哈哈，哎，等到最后早上九点才吃上的，服务员感觉也没以前清闲时周到了，不过这肯定的，一人负责好几桌，今天节日这么多人，肯定是很累的，所以大多也都是我自己跑腿，没让服务员给弄太多，就虾滑让服务员下的，然后环境来说感觉卫生方面是不错，就是有些太吵了，味道还是一如既往的那个味道，不过A餐厅最人性化的就是看我们等了两个多小时，上来送了我们一张打折卡，而且当次就可以使用，这点感觉还是挺好的，不愧是A餐厅，就是比一般的要人性化，不过这次就是选错日子了，以后还是得提前预约，要不就别赶节日去，太火爆了！

通过阅读，你可以发现这位顾客确实有了一次比较糟糕的体验——等候的时间太长了，以至于使用了“悲剧”一词；另外还提及服务不够周到，以及环境吵闹等因素。正是这些词汇的出现，使得分析结果数值非常低。

好在顾客很通情达理，而且对该分店的人性化做法给予了正面的评价。

从这个例子，你可以看出，虽然情感分析可以帮你自动化处理很多内容，然而你不能完全依赖它。

自然语言的分析，不仅要看表达强烈情感的关键词，也需要考虑到表述方式和上下文等诸多因素。这些内容，是现在自然语言处理领域的研究前沿。我们期待着早日应用到科学家们的研究成果，提升情感分析的准确度。

不过，即便目前的情感分析自动化处理不能达到非常准确，却依然可以帮助你快速定位到那些可能有问题的异常点(anomalies)。从效率上，比人工处理要高出许多。

你读完这条评论，长出了一口气。总结了经验教训后，你决定将人性化的服务贯彻到底。你又想到，可以收集用户等候时长数据，用数据分析为等待就餐的顾客提供更为合理的等待时长预期。这样就可以避免顾客一直等到很晚了。

祝贺你，经理！在数据智能时代，你已经走在了正确的方向上。

下面，你该认真阅读下一条负面评论了……

讨论

除了情感分析和时间序列可视化，你觉得还可以如何挖掘中文评论信息？除了点评网站之外，你还知道哪些舆情分析的数据来源？欢迎留言分享给大家，我们一起交流讨论。

如果你对我的文章感兴趣，欢迎点赞，并且微信关注和置顶我的公众号“玉树芝兰”(nkwangshuyi)。

如果你身边有好友正在做舆情分析的研究工作，也欢迎你把这篇文章转发给他们，共同学习和提高。

最近在用python做一个文本的情感分析的项目，用到tensorflow，需要用python3的版本，之前因为《机器学习实战》那本书的缘故，用的是python27所以目前的情况是要两个版本共存，之前看到身边有人为了解决这个问题，居然装了两款软件，pycharm用来做python27的开发，另一款用来做python36的开发，估计一定是不知道python的虚拟环境工具virtualenv本文就来讲述一下这个工具是怎么用的，同时也讲一下，如何在pycharm中使用virtualenv

1 virtualenv的安装

virtualenv的安装和其它python上的软件安装一样，有两种方法，pip 和setup方法安装。

值得注意的是，我们说virutalenv的安装是为了解决多版本python共存的问题，暗含了，你的至少有一个python版本是已经存在，并且可以正常工作的。

我这里的主环境是python27

11 pip安装virtualenv

pip install  virtualenv

当然了，卸载就是：pip uninstall virtualenv

如果pip没有安装的话，可以看下面的第二种安装virtualenv的方法，顺带将pip也安装了。

12 源码安装virtualenv

在virtualenv的官网下载最新的targz包：

将targz包解压后，目录切换到virutualenv的目录下，然后在执行一下命令：

c:\virtualenv-1510>python setuppy install

如果pip没有安装，就按照上面方法，下载最新pip的targz包安装即可。

2 用virtualenv配置python虚拟环境

说到用virtualenv配置python的虚拟环境，其实就是将某个特定项目（或者说目录下）配置成某个python版本。

如下：

现在要将c:\PythonProj\sjtu-cs 这个项目（我认为说成目录更准确些）配置成python36的版本，因为这个目录下全部是python35的东西，用python27去运行显然是有问题的。也就是说要用virtualenv去创建python361的虚拟环境。值得一提的是，虚拟什么版本的python，一定是这个python提前已经装好了。

首先：准备对哪个目录进行虚拟，就先进入到这个目录下（这里是c:\PythonProj\sjtu-cs ），然后运行命令：

virtualenv -p c:\Python36\pythonexe HigEnv

说明： -p就是python的版本（需要带上路径，这是因为在我们的环境变量里只有python27） HigEnv就是虚拟的环境变量。

如果不知道virtual，可以执行下面的命令进行查看：

上面都解释的很清楚，这里不再赘述。

我们看一下现在我们配置的是否生效了：

显然没有生效，因为需要激活。

3 激活虚拟环境变量

c:\PythonProj\sjtu-cs>cd HigEnv/Scripts

c:\PythonProj\sjtu-cs\HigEnv\Scripts>activate

验证一下：

>>> python "hello ,world"

python3和python2最明显的一个区别就是print由打印语句变成函数了。

退出激活环境用下面的命令：

(HigEnv) c:\PythonProj\sjtu-cs\HigEnv\Scripts>deactivate

值得注意的是，退出终端，重新进来的时候，如果没有激活，我们配置的虚拟环境是不会生效的，linux就不一样了，一直生效，不用每次都激活，目前还在研究中。

4 在pycharm中使用virtualenv

pycharm开发工具是我目前见过最好的python开发工具，非常强大，本身已经集成了virtualenv工具,所以我们如果用它做开发，根本无需手工安装virtualenv，

不过话又说回来，在windows下的virtualenv使用方法和linux大同小异，会了windows，linux一通百通。

41 新建项目，自由选择python版本

当导入已有项目时，pychar会自动选择相匹配的python版本，当然你也可以选，方法在后面。另外python2和python3分别向下兼容，你不会除了这两个版本还有其余版本吧。

42 在pycharm中创建virtualenv的虚拟环境：

当然了，你也可以不用创建环境变量，直接选择你需要的就可以了：

打开你需要选择python版本的项目，然后直接选择需要的project interpreter

OK!

名大一学生 这是我的第一章博客

我其实不太清楚“博客”是用来做什么的，但是现在我想用来发表一些我的“琐事杂事”

我的状态

我在迷茫的状态中渐渐的将自己给拉出来，我有了明确的目标，现在我便开始要养成我的习惯。

我想将自己更加透彻的剖析下，不介意各位谁看到了我的这篇博客，嗯，因为可能我的博客里面写了一些“极其弟弟”的行为和语言。

具体实现步骤如下：

将自己的日常发表 ，这样的行为虽然是会“流水”可是在写日记的话，我们会在写的过程了反思；

学习小结 不论是自学的还是专业的；

以上待补充 ；

很高兴认识你

–16:40 --2018217 --长沙

推荐10个堪称神器的 Java 学习网站

Java学习网站，有了这些，成为大牛不在话下

APP打开

奥运英语[5] 很高兴再次见到你 Good to see you again

http://wwweolcn/olympic_study_5563/20070228/t20070228_220259shtml 第5句　　GREETINGS: Good to see you again　问候语： 很高兴再次见到你。　　A Hi， Paul It’s good to see you again　　A 嗨，保罗，很高兴再次见

APP打开

程序员一般通过什么途径接私活？

点击蓝色“Creator星球游戏开发社区”关注我哟加个“星标”，一起快乐成长二哥，你好，我想知道一般程序猿都如何接私活，我也想接，能告诉我一些方法吗？上面是一个读者“烦不烦”问我的一个问题。其实不止是“烦不烦”，还有很多读者问过我类似这样的问题。我接的私活不算多，挣到的钱也没有多少，加起来不到 20W。说实话，这个数目说出来我是有点心虚的，毕竟太少了，大家轻喷。但我想，恰好配得上“一般程序员”这个

APP打开

看完让你彻底搞懂Websocket原理

偶然在知乎上看到一篇回帖，瞬间觉得之前看的那么多资料都不及这一篇回帖让我对websocket的认识深刻有木有。所以转到我博客里，分享一下。比较喜欢看这种博客，读起来很轻松，不枯燥，没有布道师的阵仗，纯粹为分享。废话这么多了，最后再赞一个~ 一、websocket与http WebSocket是HTML5出的东西（协议），也就是说HTTP协议没有变化，或者说没关系，但HTTP是不支持持久

APP打开

你好,很高兴认识你_默的博客-CSDN博客

请你保护好自己吧 偶然间从你的全世界路过 我永远也无法让你带我去 你永远也无法跟我走 十四亿分之一 很高兴认识你 ——2020年8月6日凌晨点

你好_bigha7的专栏-CSDN博客

你好 很高兴认识你 你好,很高兴认识你我是“假·玉米” 现在在长沙 目前是一名大一学生 这是我的第一章博客我其实不太清楚“博客”是用来做什么的,但是现在我

Python3从零开始搭建一个语音对话机器人

从零开始搭建一个语音对话机器人 目录 01-初心缘由 02-准备工作 03-语音机器人的搭建思路 04-语音生成音频文件 05-音频文件转文字STT 06-与图灵机器人对话 07-文字转语音 08-语音对话机器人的完整代码 09-结束语 10-有问必答 01-初心缘由 最近在研究语音识别方向，看了很多的语音识别的资料和文章，了解了一下语音识别的前世今生，其

APP打开

zuiqingchun2

第七十四章 先从接吻开始 她听完就掐了我胳膊下，脸微微红着说：干啥啊问这个，真不要脸，我说我咋不要脸了，那不是你昨天主动告诉我的啊？ 她这时候就一副不认账的样子不停的跟我说：没有没有没有我心想人家本来也就没跟我说，是我从高帅那知道的，便也跟她说得了，没就没吧，我现在问你，是不是一个大，一个小？ 其实我说这些话也不是没目的的，以前没有对林一妹产生什么歪想法，那是因为那时候主要思考的

APP打开

Hi,runloop 交个朋友吧 - weixin_34400525的博客 - CSDN博客

runloop :你好,很高兴认识你! developer:我先自我介绍一下,我叫iOS Developer,你呢 runloop :我叫runloop,你的有些同伴叫我跑圈,我觉得叫我循环运行比较

初次见面,你好_weixin_30603633的博客-CSDN博客

虽然不知道是在对谁说话,初次见面,你好,我是墨雨笙临近毕业的时候又机缘巧合听到了很厉害的学长的介绍今天你最大!奉上我的爱!!内容是程序员表白的一种

如何优雅地打印一个Java对象？

你好呀，我是沉默王二，一个和黄家驹一样身高，和刘德华一样颜值的程序员。虽然已经写了十多年的 Java 代码，但仍然觉得自己是个菜鸟（请允许我惭愧一下）。 在一个月黑风高的夜晚，我思前想后，觉得再也不能这么蹉跎下去了。于是痛下决心，准备通过输出的方式倒逼输入，以此来修炼自己的内功，从而进阶成为一名真正意义上的大神。与此同时，希望这些文章能够帮助到更多的读者，让大家在学习的路上不再寂寞、空虚和冷。

APP打开

你好，放大器

详细讲解了运放的分类和使用方法

APP打开

很高兴认识大家(开通技术博客的理由) - weixin_30289831的博客

我很高兴能够在程序员的网上精神家园开通博客,学习写作技术博文,并与大家有其他人生话题的互动和交流。 受到新媒体的影响如微信微博等社交网络软件的盛行,我已经有

终于加入了CSDN,高兴! - skipjacks的专栏 - CSDN博客

今天加入了JAVAEYE,很开心哈。可以在这里找到自己需要的东西,看看别人的博客,交到很多同行的朋友,呵呵!!! 博文 来自: 小孩儿 你好 很高兴认识你 阅读数

NLP之情感分析：基于python编程(jieba库)实现中文文本情感分析(得到的是情感评分)

NLP之情感分析：基于python编程(jieba库)实现中文文本情感分析(得到的是情感评分) 输出结果 1、测试对象 data1= '今天上海的天气真好！我的心情非常高兴！如果去旅游的话我会非常兴奋！和你一起去旅游我会更加幸福！' data2= '今天上海天气真差,非常讨厌下雨,把我冻坏了,心情太不高兴了,不高兴,我真的很生气！' data3= '美国华裔科学家,祖籍江苏扬州市高邮县,

APP打开

Emulator: PANIC: Cannot find AVD system path Please define ANDROID_SDK_ROOT，博主亲自验证有效

Emulator: PANIC: Cannot find AVD system path Please define ANDROID_SDK_ROOT 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除

APP打开

只为交运维道友_huangyuandong1314的博客-CSDN博客

你好!很高兴认识你 面向对象编程,你知道Java有哪些创建对象的方式吗 Java有哪些创建对象的方式1、用new关键字创建对象,需要使用构造器。2、使用反射机制创建对

写评论

评论

收藏

马 兰花开，白云徜徉，清风拂面，

萍 秀妩媚，馨醉，惹人痴恋。

萍 园俊秀，彩蝶，飘逸烂漫。

很 想佳人，牵手结伴，嬉游春天。

高 山俯瞰，望小桥流水，景色妙曼。

兴 致勃发，娇娥轻揽，入梦辗转。

认 缘牵手，却难拥有，多少苦楚。

识 曲传来，撩动心扉，神闲。

你 若情真，折一只纸船，顺水漂岸。

2017-12-08 1

雪花揪痧五条粗痧

揪痧捏痧挤痧挟痧刮痧

揪痧捏痧挤痧花样

揪痧揪性痧

怎样全身揪痧一百条

今日寒露

帮我设计艺术签名wa拼音怎么读视频新华字典内容帮我写一首藏头诗

上滑了解更多

￥2FT0bmb5p6d￥

先学文本分析的思路方法，

比如文本表示最简单的方式是词袋法，把文本变成向量，每个词是向量的一个维度，所以中文需要分词，Python分词找jieba分词

文本表示向量以后，就可以开始对应你需要的任务，比如做分类聚类关联之类的事。比如垃圾邮件分类就是建模对文本内容判断真或假

不用读文献，有问题百度找博客就行了

自然语言处理（NLP）是机器学习重要分支之一，主要应用于篇章理解、文本摘要、情感分析、知识图谱、文本翻译等领域。而NLP应用首先是对文本进行分词，当前中文分词器有Ansj、paoding、盘古分词等多种，而最基础的分词器应该属于jieba分词器（比较见下图）。

下面将分别应用R和python对jieba分词器在中文分词、词性标注和关键词提取领域的应用进行比较。

R实现

通过函数worker()来初始化分词引擎，使用segment()进行分词。有四种分词模式:最大概率法（MP）、隐马尔科夫模型（HMM）、混合模型（Mix）及索引模型（query）,默认为混合模型。具体可查看help(worker)

#installpackages('jiebaR')library(jiebaR)mixseg <- worker()segment( "这是一段测试文本" , mixseg ) #或者用以下操作mixseg['这是一段测试文本']mixseg <= "这是一段测试文本"

python实现

python中需安装jieba库，运用jiebacut实现分词。cut_all参数为分词类型，默认为精确模式。

import jiebaseg_list = jiebacut(u"这是一段测试文本",cut_all = False)print("Full mode: "+ ","join(seg_list))  #默认精确模式

无论是R还是python都为utf—8编码。

R实现

可以使用<=tagger 或者tag 来进行分词和词性标注，词性标注使用混合模型模型分词，标注采用和 ictclas 兼容的标记法。

words = "我爱北京天安门"tagger = worker("tag") #开启词性标注启发器tagger <= words    #    r        v      ns      ns    # "我"    "爱"  "北京" "天安门"

python实现

#词性标注import jiebaposseg as psegwords = psegcut("我爱北京天安门")for word,flag in words:    print('%s, %s' %(word,flag))

R实现

R关键词提取使用逆向文件频率（IDF）文本语料库,通过worker参数“keywords”开启关键词提取启发器，topn参数为关键词的个数。

keys = worker("keywords",topn = 5, idf = IDFPATH)keys <= "会议邀请到美国密歇根大学(University of Michigan, Ann Arbor）环境健康科学系副教授奚传武博士作题为“Multibarrier approach for safe drinking waterin the US : Why it failed in Flint”的学术讲座，介绍美国密歇根Flint市饮用水污染事故的发生发展和处置等方面内容。讲座后各相关单位同志与奚传武教授就生活饮用水在线监测系统、美国水污染事件的处置方式、生活饮用水老旧管网改造、如何有效减少消毒副产物以及美国涉水产品和二次供水单位的监管模式等问题进行了探讨和交流。本次交流会是我市生活饮用水卫生管理工作洽商机制运行以来的又一次新尝试，也为我市卫生计生综合监督部门探索生活饮用水卫生安全管理模式及突发水污染事件的应对措施开拓了眼界和思路。"#结果：#        488677        234784        221402        20326        185354 #      "饮用水"        "Flint"        "卫生"      "水污染"        "生活"

python实现

python实现关键词提取可运用TF-IDF方法和TextRank方法。allowPOS参数为限定范围词性类型。

#关键词提取import jiebaanalysecontent = u'会议邀请到美国密歇根大学(University of Michigan, Ann Arbor）环境健康科学系副教授奚传武博士作题为“Multibarrier approach for safe drinking waterin the US : Why it failed in Flint”的学术讲座，介绍美国密歇根Flint市饮用水污染事故的发生发展和处置等方面内容。讲座后各相关单位同志与奚传武教授就生活饮用水在线监测系统、美国水污染事件的处置方式、生活饮用水老旧管网改造、如何有效减少消毒副产物以及美国涉水产品和二次供水单位的监管模式等问题进行了探讨和交流。本次交流会是我市生活饮用水卫生管理工作洽商机制运行以来的又一次新尝试，也为我市卫生计生综合监督部门探索生活饮用水卫生安全管理模式及突发水污染事件的应对措施开拓了眼界和思路。'#基于TF-IDFkeywords = jiebaanalyseextract_tags(content,topK = 5,withWeight = True,allowPOS = ('n','nr','ns'))for item in keywords:        print item[0],item[1]  #基于TF-IDF结果# 饮用水 0448327672795# Flint 0219353532163# 卫生 0203120821773# 水污染 0186477211628# 生活 0170049997544

#基于TextRankkeywords = jiebaanalysetextrank(content,topK = 5,withWeight = True,allowPOS = ('n','nr','ns'))for item in keywords:        print item[0],item[1]    #基于TextRank结果：# 饮用水 10# 美国 0570564785973# 奚传武 0510738424509# 单位 0472841889334# 讲座 0443770732053

写在文后

自然语言处理（NLP）在数据分析领域有其特殊的应用，在R中除了jiebaR包，中文分词Rwordseg包也非常常用。一般的文本挖掘步骤包括：文本获取（主要用网络爬取）——文本处理（分词、词性标注、删除停用词等）——文本分析（主题模型、情感分析）——分析可视化（词云、知识图谱等）。本文是自然语言处理的第一篇，后续将分别总结下应用深度学习Word2vec进行词嵌入以及主题模型、情感分析的常用NLP方法。

参考资料

Introduction · jiebaR 中文分词 https://qinwenfengcom/jiebaR/segmenthtml

知乎：文本分析利用jiebaR进行中文分词 https://zhuanlanzhihucom/p/24882048

雪晴数据网：全栈数据工程师养成攻略 http://wwwxueqingtv/course/73

搜狗实验室，词性标注应用 http://wwwsogoucom/labs/webservice/

R文本挖掘中文分词Rwordseg http://blog163com/zzz216@yeah/blog/static/162554684201412895732586/