130在线民宿 UGC 数据挖掘实战--集成模型在情感分析中的应用

本次实验将加载两个数据，一个是已经标注好的用户评论数据，另外一个是用户评价主题句，通过标注过的用户评论数据进行基于集成模型的情感极性模型训练，然后利用模型对主题句进行情感极性推理，最后通过数据聚合可视化得出主题情感极性。

使用 Pandas 加载在线数据表格，并查看数据维度和前 5 行数据。

数据属性如下表所示

加载我们之前通过主题词典提取出来的主题句。

数据属性如下表所示

用户评论分词

jieba 分词器预热，第一次使用需要加载字典和缓存，通过结果看出返回的是分词的列表。

批量对用户评价进行分词，需要一些时间，并打印第一行情感极性训练集的分词结果。

批量对用户评价主题句进行分词，并打印第一句用户主题句分词结果。

依据统计学模型假设，假设用户评论中的词语之间相互独立，用户评价中的每一个词语都是一个特征，我们直接使用 TF-IDF 对用户评价提取特征，并对提取特征后的用户评价输入分类模型进行分类，将类别输出为积极的概率作为用户极性映射即可。

用户评论向量化

TF-IDF 是一种用于信息检索与数据挖掘的常用加权技术，当某个词在文章中的TF-IDF越大，那么一般而言这个词在这篇文章的重要性会越高，比较适合对用户评论中的关键词进行量化。

数据集合划分

按照训练集 8 成和测试集 2 成的比例对数据集进行划分，并检查划分之后的数据集数量。

我们在系列实验的开始使用朴素贝叶斯模型来训练情感分析模型，下面我们新增逻辑回归模型作为对比模型。逻辑回归（Logistic Regression）是一种用于解决二分类问题的机器学习方法，在线性回归的基础上，套用了一个 sigmod 函数，这个函数将线性结果映射到一个概率区间，并且通常以 05 分界线，这就使得数据的分类结果都趋向于在 0 和 1 两端，将用户评论进行向量化之后也可以用此方式预测用户情感。本实验直接对标注过的用户情感数据进行训练，并验证单一模型和集成模型在情感分析性能上的差异。

模型加载

通过传入原始的标签和预测的标签可以直接将分类器性能进行度量，利用常用的分类模型评价指标对训练好的模型进行模型评价，accuracy_score 评价被正确预测的样本占总样本的比例，Precision 是衡量模型精确率的指标，它是指模型识别出的文档数与识别的文档总数的比率，衡量的是模型的查准率。Recall 召回率也称为敏感度，它是指模型识别出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率，表示正样本在被正确划分样本中所占的比例，f1_score 值是精确率与召回率的调和平均数，是一个综合性的指数。

我们分别对不同模型使用相同的数据集进行训练和测试，以此来比较单模型之间的差异，并打印模型运行时间供大家参考，批量处理不同的模型需要一些时间进行计算，清耐心等待。

通过求得的指标进行模型评价，我们发现使用相同的数据进行模型训练，朴素贝叶斯模型和逻辑回归模型性能基本持平，相差很微弱，逻辑回归稍稍占一些优势。

Stacking 堆栈模型训练

集成学习是地结合来自两个或多个基本机器学习算法的优势，学习如何最好地结合来自多个性能良好的机器学习模型的预测结果，并作出比集成中的任何一个模型更好的预测。主要分为 Bagging， Boosting 和 Stacking，Stacking 堆栈模型是集成机器学习模型的一种，具体是将训练好的所有基模型对整个训练集进行预测，然后将每个模型输出的预测结果合并为新的特征，并加以训练。主要能降低模型的过拟合风险，提高模型的准确度。

开始对两个模型进行集成训练，训练的时间要比单一模型时间久一些，清耐心等待。

评测结果收集。

结果分析

将结果存入 Dataframe 进行结果分析，lr 表示逻辑回归，nb 表示朴素贝叶斯，model_stacking 将两个单模型集成后的模型。从结果来看集成模型准确度和 f1 值都是最高的，结合两个模型的优势，整体预测性能更好，鲁棒性更好。

样例测试

通过测试样例发现，分类器对正常的积极和消极判断比较好。但是当我们改变语义信息，情感模型则不能进行识别，模型鲁棒性较差。作为早期的文本分类模型，我们使用 TFIDF 的特征提取方式并不能很好的解决语义问题，自然语言是带有语序和语义的关联，其词语之间的关联关系影响整句话的情感极性，后续我们继续试验深度情感分析模型研究解决此类问题。

加载民宿主题数据。

模型预测

将情感分析模型推理的结果写入 DataFrame 中进行聚合。

单主题聚合分析

挑选一个主题进行主题情感分析。

对民宿“设施”进行描述统计，此次我们使用主题词典的出来的用户关于民宿“设施”主体的讨论条数为 4628 条，平均用户情感极性为 040 表示为整体呈现不满意的情况，有超过一半的关于“设施”的民宿评论中表现用户不满意的情况，重庆民宿需要在“设施”进行改善，以此提高用户满意度。

单主题情感极性可视化

我们开始进行“设置”主题下的用户主题情感进行可视化，首先加载画图模块。

对“设施”主题下的用户情感极性进行可视化，我们利用集成模型对主题句进行情感极性预测，如下所示。

什么是数据可视化

数据可视化利用图形、图像处理、计算机视觉、以及用户界面，通过表达、建模以及对表面、立体、属性和动画的显示，对数据加以可视化解释。

作用

而基于WebGL及H5技术实现的电力能源管理可视化系统，具备显示电力数据高维、多态、多场景、动态性的特点。基于 hightopo 轻量可视化方案，支持跨 Windows、Linux、Android、IOS 等平台，实现海量数据的呈现及数据分析。通过将能源数据可视化，帮助其高效理解大量数据，为企业或者机构挖掘潜在数据价值，给应急决策提供准确的数据支持。

意义

利用物联网和传感器收集的数据，对电力设备和网线进行实时监控并分析产生数据。采用3D可视化系统，提供更接近现实设备的画面，易于用户接受，提升对设备的辨识度。可以让用户洞悉整个系统同时，还可以观测到部分细节。兼顾了整体与局部，提供了丰富的交互体验。并且在成熟的 5G 技术支持下，因其大于 4G 数倍的带宽，快 4G 百倍的传输速率能更好的让 hightopo 轻量可视化在浏览器或移动端上实现远程可视化监控。

扩展资料

图扑软件（Hightopo）是由厦门图扑软件科技有限公司独立自主研发，基于HTML5标准技术的Web前端2D和3D图形界面开发框架。非常适用于实时监控系统的界面呈现，广泛应用于电信网络拓扑和设备管理，以及电力、燃气等工业自动化 (HMI/SCADA) 领域。

Hightopo 提供了一套独特的 WebGL 层抽象，将 Model–View–Presenter (MVP) 的设计模型延伸应用到了 3D 图形领域。使用 Hightopo 您可更关注于业务逻辑功能，不必将精力投入复杂 3D 渲染和数学等非业务核心的技术细节。

多年来数百个工业互联网可视化项目实施经验形成了一整套实践证明的高效开发流程和生态体系，可快速实现现代化的、高性能的、跨平台桌面Mouse/移动Touch/虚拟现实VR图形展示效果及交互体验。

论文可视化分析的意思是用海量数据关联分析，辅助人工操作将数据进行关联分析，并做出完整的分析图表。

论文可视化分析是在论文查重系统在查重后呈现出的查重报告单，不同的报告单反馈着论文不同方面的数据信息，包括查重率、重合字数、疑似抄袭段落等等；把文中所有的重复部分都进行了标注和相似论文的内容和出处；对文中重复的部分进行标红，并且有引用文献列表。

论文可视化分析数据解读：

总文字复制比：即查重率，查重能不能通过的关键数据。

去除引用文献复制比：即去除文中引用文献后的查重率。

去除本人已发表文献:即去除本人已经发表收录的论文后的查重率。

单篇最大文字复制比：即与本论文相似度最高的论文的查重率。

如果AI有了人类的情感，这个世界将会发生巨大的变化。

首先，AI将会更好地预测人类的行为模式，实现有效的识别、跟踪和操纵，从而创造出更加自动化、高效的社会结构和空间组织，尤其是智慧型服务机器人，这将极大地改变人们的生活和工作方式，为人们带来更多的便利。

此外，情感AI还可以用于医疗健康、老年照护、教育慰藉等，方面，通过个性化的情感支持，让人们更快乐和快活，增强他们的自尊和自信心。

最后，情感AI可以更加有力地参与社会团体的交流活动，通过以微笑、肢体语言和谈吐等与现实世界相结合的方式，融入各种社会和文化活动，努力实现人机融合，让AI担负起服务他人、参与社会治理的责任。