掌握核心科技才是最主要的。
网络爬虫：基础数据来源，没有数据什么都做不了，可以选择；有开源的网络爬虫，可改成自己想要的。
分 词：如果不是特别想搞清楚分词，而只是使用的话，使用开源的即可。不用深入学习理论；
热点提取：同情感分析；
实际就是获取数据，分析数据；数据显示也十分重要，都获取到了，看不到或者不好看也是白搭。
个人谬论~ 仅供参考~
对。文本数据是非数字化数据，不能简单的用统计工具进行可视化，但是，在文本挖掘和自然语言处理等领域中，有一些技术和工具可以将非数字化的文本数据转换为可分析的数字化数据，从而进行可视化操作；例如，可以使用文本分词技术将文本转换成单词频率向量，然后使用可视化工具进行展示，或者使用情感分析技术将文本数据转换成情感得分数据，然后进行情感分析可视化，通过这些技术和工具，可以更好地理解和分析非数字化的文本数据。
可以使用snownlp包，也可以用nltk 和 scikit-learn 结合，或者自己写算法实现。
简单话就是情感词典的匹配，想提高效果的需要考虑特征之间的搭配，语法顺序等，可以查询搜索相关的入门例子和算法详细了解。
人工智能产品的定义较为广泛，智能硬件、机器人、芯片、语音助手等都可以叫做人工智能产品。本文讨论的人工智能产品主要是指在互联网产品中运用人工智能技术。
互联网产品主要着手与解决用户的痛点，对于C端产品来说，痛点就是指的个人想解决而无法解决的问题，如个人想要美化自己的照片，但是他不会复杂的PS软件，于是美图秀秀就可以解决这个痛点。从KANO模型中，就是满足用户的基本需求与期望需求。
人工智能产品（在互联网产品中运用人工智能技术）则是要满足用户的兴奋需求。如将情感分析运用到电商的产品评论中，用户则可以通过可视化的数据展示来大致对产品有个全面、直观的了解，而不再需要自己一页一页的翻看评论内容。
互联网产品主要关注点在于用户需求、流程设计、交互设计、商业模式等。着眼于用户需求，设计满足用户需求的产品，通过合理的流程设计、交互设计达到产品目标，进而实现商业目标。典型的思路是发现用户需求——>设计满足用户需求的产品——>迭代完善、产品运营——>商业变现。
人工智能产品关注点在于模型的构建，它不再是对于布局、交互的推敲，而是通过选择合适的数据，构建合适的模型，最终呈现出来的是好的效果。什么是好的效果呢？这就需要引入评测指标。互联网的评测指标有我们熟知的留存率、转化率、日活跃等，那么人工智能的产品主要是通过一些统计指标来描述，以情感分析为例，把情感分析看成一个分类问题，则可以使用P、R、A、F值来描述。
1）查准率（Precision）：P值，衡量某类分类中识别正确的比例，如情感分析中，有10条被分类为“正向”，其中8条是分类正确的（由人工审核），那么P=8/10=80%
2）查全率（Recall）：R值，又叫查全率，又叫召回度，指的是某类被被正确分类的比例，同样以情感分析为例，100条数据中有10条是正向的，机器分类后，这10条中有7条被分类为正向，则R=7/10=70%
3)F值，因为P值和R值通常是两个相互矛盾的指标，即一个越高另一个越低，F则是两者综合考虑的指标，不考虑调节P、R权重的情况下，F=2PR/(P+R)
4）精确度（Accuracy）：这个最好理解，就是被准确分类的比例，也就是正确率。如100条数据，90条是被正确分类的，则A=90/100=90%。
以上指标越高，说明模型效果越好。
我们从上面内容可以知道，人工智能产品设计关注：数据——>模型——>效果评估。
现在我们以情感分析为例子说明产品设计的过程。
1）数据：
数据的选择对最终模型的结果有直接影响，情感分析，根据不同的目的，选择的数据也不同。如将情感分析运用于**票房预测，则一些更新及时、内容丰富的数据源，如微博，是比较好的选择。如果是应用于商品的评价，如电子产品，很多评测内容是无法在短短几句话内描述清楚的，这时候微博不是个好的选择，选择论坛上更新较慢、但是详细的内容就比较适合。
如果能在产品的早期就有引入人工智能的打算，则可以在产品中事先做好数据采集。
2）模型：
在选择模型中，产品需要了解不同的模型的优缺点，进而选择更加合适的模型。在情感分析中，NB、SVM、N-gram都是常用的模型，其中SVM效果最好（这是已有的结论），如果是其他的智能产品，可能需要算法团队进行实验，给出测试数据，进而选择合适的模型。
3）效果评估：
效果评估在上文中已经描述得比较清楚，具体指标不再赘述。
4）产品呈现：
最后这一步，是将结果展示给用户。在情感分析中，我们可以选择雷达图、词云、情感趋势图来展示结果。取决于产品属性，如电商产品评论挖掘，可以使用词云；
如舆论分析，可以使用情感趋势图。
人工智能产品的设计要关注：数据、模型、评判、呈现。
人工智能在人体动作识别方面有很多应用，课堂行为分析就是其中之一。课堂行为分析的主要目的是通过对学生和教师在课堂上的行为进行实时监测和分析，以了解他们的参与度、互动情况和教学效果，从而为教育者提供有关课堂管理和教学方法的反馈。以下是实现基于AI的课堂行为分析的一些建议：
数据收集与预处理：首先，需要收集课堂上学生和教师的行为数据。这可以通过在教室内安装摄像头、麦克风等设备来实现。
人体姿态估计：通过计算机视觉技术，例如深度学习和卷积神经网络（CNN），可以对收集到的视频数据进行人体姿态估计，从而识别学生和教师在课堂上的姿势和动作。
动作识别：对人体姿态进行分析后，可以识别出具体的行为，如举手、站立、坐下等。这可以通过训练神经网络实现，将姿态数据作为输入，输出对应的行为类别。
情感分析：除了动作识别外，还可以通过语音识别和自然语言处理（NLP）技术对课堂上的对话进行情感分析，以评估学生的情绪和教师的教学方式。
行为模式分析：通过对课堂行为数据进行时序分析，可以挖掘出学生和教师的行为模式，从而发现教学过程中可能存在的问题，如学生注意力不集中、教师互动不足等。
可视化与反馈：将分析结果进行可视化展示，为教育者提供直观的课堂行为报告。教师可以根据这些反馈调整教学方法和课堂管理策略，以提高教学质量和学生参与度。
实现这一系统需要多领域的技术结合，包括计算机视觉、自然语言处理、数据挖掘和机器学习。同时，为保障学生和教师的隐私，数据收集和分析过程需符合相关法规和道德规范。
先说大数据时代舆情数量庞大，来源众多，网站信源也很多。舆情情感分析单纯依靠人工数据难以量化，工程量大，借助舆情分析平台是不错的选择。
西盈舆情分析系统可以实现以下功能：
1、可以做到对舆情信息的分类研判（包括舆情的热点、负面、地域等）、及时预警、科学的分析（时间节点分析、图表分析、报告分析等）以及辅助建立预警机制，提供科学的决策依据。企业购买舆情监测系统已经是常态了，很多舆情危机的出现都会读直接影响企业的形象、经济利益、产品的推广等等。
2、内置数据模型知识库（数据分析方法库），由若干成熟的模型（数据算法）（维稳、治安、环保、交通运输、医疗、教育、卫生等）的代码和技术文档构成，并能够进行模型的拼接，引入和相互无缝引用。
3、实时显示分析引擎领域、属性、项目、日志、入库和统计图表信息，异常情况系统发出警示。实时显示目前系统运行详细日志，包括任务运行时间、文本处理时间、入库情况、知识库匹配情况、引擎数据库状态等。
情感分析（Sentiment Analysis）
第一步，就是确定一个词是积极还是消极，是主观还是客观。这一步主要依靠词典。
英文已经有伟大词典资源：SentiWordNet 无论积极消极、主观客观，还有词语的情感强度值都一并拿下。
但在中文领域，判断积极和消极已经有不少词典资源，如Hownet，NTUSD但用过这些词典就知道，效果实在是不咋滴（最近还发现了大连理工发布的情感词汇本体库，不过没用过，不好评价）。中文这方面的开源真心不够英文的做得细致有效。而中文识别主客观，那真的是不能直视。
中文领域难度在于：词典资源质量不高，不细致。另外缺乏主客观词典。
第二步，就是识别一个句子是积极还是消极，是主观还是客观。
有词典的时候，好办。直接去匹配看一个句子有什么词典里面的词，然后加总就可以计算出句子的情感分值。
但由于不同领域有不同的情感词，比如看上面的例子，“蓝屏”这个词一般不会出现在情感词典之中，但这个词明显表达了不满的情绪。因此需要另外根据具体领域构建针对性的情感词典。
如果不那么麻烦，就可以用有监督的机器学习方法。把一堆评论扔到一个算法里面训练，训练得到分类器之后就可以把评论分成积极消极、主观客观了。
分成积极和消极也好办，还是上面那个例子。5颗星的评论一般来说是积极的，1到2颗星的评论一般是消极的，这样就可以不用人工标注，直接进行训练。但主客观就不行了，一般主客观还是需要人来判断。加上中文主客观词典不给力，这就让机器学习判断主客观更为困难。
中文领域的难度：还是词典太差。还有就是用机器学习方法判断主客观非常麻烦，一般需要人工标注。
另外中文也有找到过资源，比如这个用Python编写的类库：SnowNLP 就可以计算一句话的积极和消极情感值。但我没用过，具体效果不清楚。
到了第三步，情感挖掘就升级到意见挖掘（Opinion Mining）了。
这一步需要从评论中找出产品的属性。拿手机来说，屏幕、电池、售后等都是它的属性。到这一步就要看评论是如何评价这些属性的。比如说“屏幕不错”，这就是积极的。“电池一天都不够就用完了，坑爹啊”，这就是消极的，而且强度很大。
这就需要在情感分析的基础上，先挖掘出产品的属性，再分析对应属性的情感。
分析完每一条评论的所有属性的情感后，就可以汇总起来，形成消费者对一款产品各个部分的评价。
接下来还可以对比不同产品的评价，并且可视化出来。如图。
这一步的主要在于准确挖掘产品属性（一般用关联规则），并准确分析对应的情感倾向和情感强度。因此这需要情感分析作为基础。首先要找到评论里面的主观句子，再找主观句子里的产品属性，再计算属性对应的情感分。所以前面基础不牢固，后面要准确分析就有难度。
中文这个领域的研究其实很完善了，技术也很成熟。但需要完善前期情感分析的准确度。
总的来说，就是中文词典资源不好，工作做得不是很细很准。前期的一些基础不牢固，后面要得到准确的分析效果就不容易了。
在大数据的分析中，人们可以从数据中获得很多的信息，但是数据的分析结果就需要用一种通俗易懂简单明了的内容呈现在眼前，这就需要数据可视化操作。数据可视化就是指以饼状图等图形的方式展示数据。这帮助用户能够更快地识别模式。那么大家知道不知道数据可视化的优点是什么呢？一般来说，数据可视化的优点就是动作快、建设性讨论结果、理解运行和结果的联系、看清新兴的走向、做好数据的交互。
一、动作快
大家都知道，人们从中获得信息比文字中获得信息更快，这是因为人脑对视觉信息的处理要比书面信息容易得多。所以使用图表来总结复杂的数据，可以让数据更快的呈现在人们面前，便于人们对于数据的理解。
数据可视化提供了一种非常清晰的沟通方式，使领导或者客户能够更快地理解和处理他们的信息。而且大数据可视化工具可以提供实时信息，使利益相关的人能够更容易对整个企业进行评估以及对企业的实际情况。
2看清新兴走向
很多公司会把消费者行为数据化，而写数据可以为适应能力强的公司带来更多的机会。不过对于这些数据需要这些公司不断的搜集以及不断地分析。通过使用大数据可视化的方式来观察关键指标，这样，领导就可以更容易发现各种大数据集的市场变化和趋势。
3与数据交互
数据可视化的主要优点就是它及时的向人们呈现了事物的风险变化。不过与静态图表不同的是，交互式的数据可视化可以促进用户探索甚至操纵数据，以发现其他因素。
4建设性讨论结果
向高级管理人员提交的很多业务报告都是规范化的文档，这些文档经常被静态表格和各种图表类型所表达。这是因为它制作的太过于详细了，以致于那些高管人员也没办法完全记住这些内容，甚至看完并没有什么印象。因此对于他们来说是不需要看到太详细的信息。
对此，来自大数据可视化工具的报告使我们能够用一些简短的图形就能体现那些复杂信息，甚至单个图形也能做到。企业的高层可以通过这些信息以及可视化工具，能够使不同的数据源得到一个比较轻松的解释。丰富但有意义的图形有助于让主管和业务伙伴了解问题和和解决问题。
5理解运营和结果之间的连接
大数据可视化的一个优点就是允许用户去关注并理解运营和整体业务性能之间的连接。这样在竞争环境中，能够找到业务功能和市场性能之间的相关性是一件很重要的事情。
对于数据数据可视化的优点大家看了这篇文章以后已经知道了其中的优点了吧，一般来说，数据可视化的优点就是上述内容提到的动作快、建设性讨论结果、理解运行和结果的联系、看清新兴的走向、做好数据的交互。希望这篇文章能够帮助到大家更好的理解大数据以及帮助大家能够做好数据分析。
欢迎分享，转载请注明来源：浪漫分享网
微信扫一扫
支付宝扫一扫
评论列表（0条）