以新浪舆情通-政企舆情大数据监测系统为例,应用到了以下5大核心技术:
1)大数据采集、挖掘技术
网络舆情主要通过新闻、论坛、微博、公众号、博客等渠道形成和传播,网络舆情监测系统依靠强大的大数据计算能力实现了全网信息的实时收集、挖掘和智能检索,保障信息的及时性和完整性。
2)大数据处理技术
快速将数据去重、内容分类,噪音识别等,保障数据的精准度。
3)自然语言处理、图文智能分析等技术
通过词法分析、语义分析等先进技术,判断内容的情感属性,并优先展示涉及敏感的信息,让舆情监测系统在分析方式、分析对象、分析能力等方面更加“智能”,数据更加精准。
4)音视频处理技术
通过通过语音识别、视频处理等技术,将音视频信息转化为文本,实现对音视频信息的分析、分类与检索。对字幕和弹幕的提取和处理能更进一步了解用户的关注点以及情绪。
5)OCR 技术
通过 OCR 技术将中的信息识别为文本,实现对信息的分类与检索。用户只需要设置监测内容的关键词方案,即可实时获得相关的全网内容信息。
Python 有良好的程序包可以进行情感分类,那就是Python 自然语言处理包,Natural Language Toolkit ,简称NLTK 。NLTK 当然不只是处理情感分析,NLTK 有着整套自然语言处理的工具,从分词到实体识别,从情感分类到句法分析,完整而丰富,功能强大。
豆瓣网文本评论的情感分析论文多。因为豆瓣网是一个内容丰富的文化社区,用户在这里可以发表对**、书籍、音乐等内容的评论和评分,这些评论数据对情感分析研究来说是非常有价值的。在学术界和工业界,已经有很多研究者和公司使用豆瓣网的评论数据进行情感分析研究和应用开发。这些研究涵盖了各种情感分析算法和技术,如基于词典的情感分析、基于机器学习的情感分析、基于深度学习的情感分析等。同时,也有很多论文对豆瓣网评论数据进行了情感分析,这些论文主要关注情感分析算法的优化和应用场景的拓展。
欢迎分享,转载请注明来源:浪漫分享网
评论列表(0条)