什么是文本分析

  文本分析是将非结构化文本数据转换为有意义的数据进行分析的过程，以度量客户意见、产品评论、反馈，提供搜索工具、情感分析和实体建模，以支持基于事实的决策制定。文本分析使用了许多语言、统计和机器学习技术。文本分析包括从非结构化数据中检索信息，以及对输入文本进行结构化以得出模式和趋势，并对输出数据进行评估和解释的过程。它还包括词汇分析、分类、聚类、模式识别、标签、注释、信息提取、链接和关联分析、可视化和预测分析

  分析从数以百万计的不同的文件和格式的文本数据中，决定出关键字、主题、类别、语义、标签。文本分析这个术语大致等同于文本挖掘。

  文本分析软件解决方案提供工具、服务器、基于分析算法的应用程序、数据挖掘和提取工具，用于将非结构化数据转换为有意义的数据进行分析。输出(提取的实体、事实、关系)通常存储在关系、XML和其他数据仓库应用程序中，以便由其他工具(如商业智能工具或大数据分析或预测分析工具)进行分析。

  大数据分析、数据挖掘和文本分析以及统计数据为业务用户提供了通过发现结构化和非结构化数据中的模式和关系来创建智能预测的功能。

无论是电商类还是其他行业相关的互联网信息中都有大量的文本数据，所以进行大数据分析，很重要的一部分是文本分析。文本数据通常是非结构化的，采集文本数据后的一个关键环节是要将其转化为能被计算机理解和处理的结构化数据，才能进一步对其进行系统化的处理分析，提炼出有意义的部分。大致可以分为以下步骤：

1、数据采集

明确分析的目的和需求后，通过不同来源渠道采集数据。

2、文本清洗和预处理

文本清洗首要是把噪音数据清洗掉，然后根据需要对数据进行重新编码，进行预处理。

3、分词

在实际进行分词的时候，结果中可能存在一些不合理的情况。因此，在基于算法和中文词库建成分词系统后，还需要不断通过训练来提升分词的效果，如果不能考虑到各种复杂的汉语语法情况，算法中存在的缺陷很容易影响分词的准确性。

4、词频和关键词

词频就是某个词在文本中出现的频次。简单来说，一个词在文本中出现的频次越高，这个词在文本中就越重要，就越有可能是该文本的关键词。

5、语义网络分析

语义网络分析是指筛选统计出高频词以后，以高频词两两之间的共现关系为基础，将词与词之间的关系进行数字化处理，再以图形化的方式展示词与词之间的结构关系。这样一个语义网络结构图，可以直观地对高频词的层级关系、亲疏程度进行分析展现。

6、情感分析

情感分析，主要是分析具有情感成分词汇的情感极性（即情感的正性、中性、负性）和情感强烈程度，然后计算出每个语句的总值，判定其情感类别。还可以综合全文本中所有语句，判定总舆情数据样本的整体情感倾向。

7、数据可视化展现

通过可视化展现形式，可直观呈现多维度数据表现，用于总结、汇报等。

想要快速进行大数据分析，可通过新浪舆情通实现，系统一站式提供信息采集、大数据分析、可视化报告等服务，针对各行业还提供定制化大数据解决方案。

情感分析（Sentiment analysis，SA），又称倾向性分析、意见抽取（Opinion extraction）、意见挖掘（Opinion mining）、情感挖掘（Sentiment mining）、主观分析（Subjectivity analysis）

情感分析是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程

情感分析的目的是为了找出说话者/作者在某些话题上或者针对一个文本两极观点的态度。这个态度或许是他或她的个人判断或是评估，也许是他当时的情感状态（就是说，作者在做出这个言论时的情绪状态），或是作者有意向的情感交流（就是作者想要读者所体验的情绪）

文本情感分析的应用非常广泛，如网络舆情风险分析，信息预测等。如通过Twitter用户情感预测股票走势，**票房、选举结果等，均是将公众情绪与社会事件对比，发现一致性，并用于预测

首先安装SnowNLP中文情感分析库：

SnowNLP（Simplified Chinese Text Processing），是一个python语言编写的类库，可以方便的处理中文文本内容，其开发受到了TextBlob的启发

In [1]:

数据载入

In [2]:

Out[2]:

数据预处理

In [3]:

In [4]:

Out[4]:

In [7]:

Out[7]:

将所有数据打分

In [9]:

Out[9]:

将分数合并会原表格

In [11]:

Out[11]:

计算指标

In [12]:

Out[12]:

In [13]:

Out[13]:

In [14]:

Out[14]:

基础结论：中位数比平均值高很多，说明有少量异常低的评分拉低了均值

In [16]:

Out[16]:

看分数分布情况，直方图最合适

In [17]:

Out[17]:

少量数据，柱状图也可以

In [18]:

Out[18]:

In [19]:

Out[19]:

In [20]:

以分数排序，查看打分准确率

In [22]:

Out[22]:

好评

In [23]:

Out[23]:

In [24]:

Out[24]:

差评

In [25]:

Out[25]:

In [26]:

Out[26]:

In [27]:

Out[27]:

In [28]:

Out[28]:

In [29]:

Out[29]:

In [30]:

Out[30]:

结论

准确率比瞎猜高，但达不到人工打分准确率

SnowNLP库的训练基准数据是基于电商销售产品训练的，对饭店留言数据的打分准确率一般

做情感分析最好用户自行实现（网站增加打分功能，用户自行打分）

关于情感分析文本相似性和语句推断等都属于常见中文分词应用中的语句关系判断回答如下：

情感分析,文本相似性和语句推断等都属于常见中文分词应用中的语句关系判断如下情感分析、文本相似性和语句推断都是中文自然语言处理中的常见任务，需要进行语句关系判断。

其中，分词是中文自然语言处理中的基础步骤，可以将句子切分成有意义的词语，为后续任务提供基础。

在情感分析任务中，需要对文本的情感进行分类，通常采用机器学习算法，对文本进行特征提取和分类。文本相似性任务是指比较两个文本之间的相似度，通常采用词向量模型进行特征提取和相似度计算。

语句推断任务是指给定前提和假设，判断假设是否可以从前提中推出，通常需要进行逻辑推理和语义理解。这些任务都需要进行语句关系判断，对中文自然语言处理具有重要意义。

资料扩展：

情感分析是指通过文本来挖掘人们对于产品、服务、组织、个人、事件等的观点、情感倾向、态度等。情感分析是随着互联网发展而产生的，早期主要用于对网上销售商品的用户评语的分析，

以便判断用户对其所购商品是“喜欢”还是“不喜欢”。后期随着自媒体的流行，情感分析技术更多地用于识别话题发起者、参与者的情感趋向，

从中判断或挖掘话题中的价值，由此来分析相关舆情。情感分析的应用十分广泛，其研究领域涉及自然语言处理、信息检索、机器学习、人工智能等。

领域依赖是指文本情感分析的模型对某一领域的文本数据非常有效，但是将其应用于其他领域的时候，会使得分类模型的性能严重下降。