文本相似度。基于词典的情感分析,依赖人工标记的词典,所以需要大量的人力。如果遇到是情感词但是词典里没有,就设计到另一种在NLP经常用到的技术文本相似度。以上步骤可以更加优化,比如用决策树来判断句法规则。下一步实现,基于朴素贝叶斯的情感分析。
<article>
课程地址: https://classcourseraorg/nlp/lecture/31
情感分析 (Sentiment analysis)又可以叫做
意见抽取 (Opinion extraction)
意见挖掘 (Opinion mining)
情感挖掘 (Sentiment mining)
主观分析 (Subjectivity analysis)等等。
引用的论文:
Bo Pang, Lillian Lee, and Shivakumar Vaithyanathan 2002 Thumbs up Sentiment Classification using Machine Learning Techniques EMNLP-2002, 79—86
Bo Pang and Lillian Lee 2004 A Sentimental Education: Sentiment Analysis Using Subjectivity Summarization Based on Minimum Cuts ACL, 271-278
另外需注意,Binarized (Boolean feature) Multinomial Naïve Bayes不同于Multivariate Bernoulli Naïve Bayes,MBNB在文本情感分析上的效果并不好。另外课中也提到可以用交叉验证的方式进行训练验证。
下面罗列了一些比较流行的词典:
当我们拿到一个词我们如何判断他在每个类别中出现的概率呢?以IMDB影评为例
但是!我们不能用单纯的原始计数(raw counts)方法来进行打分,如下图
可以看出,这些否定词同样可以作为单词极性的一个判断依据。
具体步骤为:
联合概率 / 独立的两个概率乘积
之后我们可以看一下统计结果,分别来自于用户好评和差评的统计:
可以看到极性划分的还不错
</article>
</main>
转自csdn
欢迎分享,转载请注明来源:浪漫分享网
评论列表(0条)