大数据挖掘通常用哪些软件

1RapidMiner

只要是从事开源数据挖掘相关的业内人士都知道，RapidMiner在数据挖掘工具榜上虎踞榜首，叫好叫座。是什么让RapidMiner得到如此厚誉呢首先，RapidMiner功能强大，它除了提供优秀的数据挖掘功能，还提供如数据预处理和可视化、预测分析和统计建模、评估和部署等功能。更厉害的是，它还提供来自WEKA(一种智能分析环境)和R脚本的学习方案、模型和算法，让它成为业界的一棵常春藤。

用Java语言编写的RapidMiner，是通过基于模板的框架为用户提供先进的分析技术的。它最大的好处就是，作为一个服务提供给用户，而不是一款本地软件，用户无需编写任何代码，为用户尤其是精于数据分析但不太懂编程的用户带来了极大的方便。

2R-Programming

R语言被广泛应用于数据挖掘、开发统计软件以及数据分析中。你以为大名鼎鼎的R只有数据相关功能吗其实，它还提供统计和制图技术，包括线性和非线性建模，经典的统计测试，时间序列分析、分类、收集等等。

R，R-programming的简称，统称R。作为一款针对编程语言和软件环境进行统计计算和制图的免费软件，它主要是由C语言和FORTRAN语言编写的，并且很多模块都是由R编写的，这是R一个很大的特性。而且，由于出色的易用性和可扩展性，也让R的知名度在近年来大大提高了，它也逐渐成为数据人常用的工具之一。

3WEKA

WEKA支持多种标准数据挖掘任务，包括数据预处理、收集、分类、回归分析、可视化和特征选取，由于功能多样，让它能够被广泛使用于很多不同的应用——包括数据分析以及预测建模的可视化和算法当中。它在GNU通用公共许可证下是免费的，这也是它与RapidMiner相比的优势所在，因此，用户可以按照自己的喜好选择自定义，让工具更为个性化，更贴合用户的使用习惯与独特需求。

很多人都不知道，WEKA诞生于农业领域数据分析，它的原生的非Java版本也因此被开发了出来。现在的WEKA是基于Java版本的，比较复杂。令人欣喜的是，当它日后添加了序列建模之后，将会变得更加强大，虽然目前并不包括在内。但相信随着时间的推移，WEKA一定会交出一张很好看的成绩单。

4Orange

对很多数据人来说，Orange并不是一个陌生的名字，它不仅有机器学习的组件，还附加有生物信息和文本挖掘，可以说是充满了数据分析的各种功能。而且，Orange的可视化编程和Python脚本如行云流水，定能让你拥有畅快的使用感。

Orange是一个基于Python语言的功能强大的开源工具，如果你碰巧是一个Python开发者，当需要找一个开源数据挖掘工具时，Orange必定是你的首选，当之无愧。无论是对于初学者还是专家级大神来说，这款与Python一样简单易学又功能强大的工具，都十分容易上手。

5NLTK

著名的开源数据挖掘工具——NLTK，提供了一个语言处理工具，包括数据挖掘、机器学习、数据抓取、情感分析等各种语言处理任务，因此，在语言处理任务领域中，它一直处于不败之地。

想要感受这款深受数据人喜爱的工具的用户，只需要安装NLTK，然后将一个包拖拽到最喜爱的任务中，就可以继续葛优瘫N日游了，高智能性也是这款工具受人喜爱的最大原因之一。另外，它是用Python语言编写的，用户可以直接在上面建立应用，还可以自定义小任务，十分便捷。

6KNIME

KNIME是一个开源的数据分析、报告和综合平台，同时还通过其模块化数据的流水型概念，集成了各种机器学习的组件和数据挖掘。我们都知道，提取、转换和加载是数据处理最主要的三个部分，而这三个部分，KNIME均能出色地完成。同时，KNIME还为用户提供了一个图形化的界面，以便用户对数据节点进行进一步的处理，十分贴心。

基于Eclipse，用Java编写的KNIME拥有易于扩展和补充插件特性，还有可随时添加的附加功能。值得一提的是，它的大量的数据集成模块已包含在核心版本中。良好的性能，更让KNIME引起了商业智能和财务数据分析的注意。

大数据在近些年来越来越火热，人们在提到大数据遇到了很多相关概念上的问题，比如云计算、 Hadoop等等。那么，大数据是什么、Hadoop是什么，大数据和Hadoop有什么关系呢？

大数据概念早在1980年，著名未来学家阿尔文·托夫勒提出的概念。2009年美国互联网数据中心证实大数据时代的来临。随着谷歌MapReduce和 GoogleFile System （GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。目前定义：大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具在合理时间内获取、管理、处理、并整理为帮助企业经营决策。

大数据目前分为四大块：大数据技术、大数据工程、大数据科学和大数据应用。其中云计算是属于大数据技术的范畴，是一种通过Internet以服务 的方式提供动态可伸缩的虚拟化的资源的计算模式。那么这种计算模式如何实现呢，Hadoop的来临解决了这个问题，Hadoop是Apache（阿帕切） 的一个开源项目，它是一个对大量数据进行分布式处理的软件架构，在这个架构下组织的成员HDFS（Hadoop分布式文件系统），MapReduce、 Hbase 、Zookeeper（一个针对大型分布式系统的可靠协调系统），hive（基于Hadoop的一个数据仓库工具）等。

1云计算属于大数据中的大数据技术范畴。

2云计算包含大数据。

3云和大数据是两个领域。

云计算是指利用由大量计算节点构成的可动态调整的虚拟化计算资源，通过并行化和分布式计算技术，实现业务质量的可控的大数据处理的计算技术。而作为云计算技术中的佼佼者，Hadoop以其低成本和高效率的特性赢得了市场的认可。Hadoop项目名称来源于创立者Doung Cutting儿子的一个玩具，一头**的大象。

Hadoop项目的目标是建立一个可扩展开源软件框架，能够对大数据进行可靠的分布式处理。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。HDFS是一个分布式文件系统，具有低成本、高可靠性性、高吞吐量的特点。MapReduce是一个变成模型和软件框架。

简单理解，Hadoop是一个开源的大数据分析软件，或者说编程模式。它是通过分布式的方式处理大数据的，因为开元的原因现在很多的企业或多或少的在运用hadoop的技术来解决一些大数据的问题，在数据仓库方面hadoop是非常强大的。但在数据集市以及实时的分析展现层面，hadoop也有着明显的不足，现在一个比较好的解决方案是架设hadoop的数据仓库而数据集市以及实时分析展现层面使用永洪科技的大数据产品，能够很好地解决hadoop的分时间长以及其他的问题。

Hadoop大数据技术案例

让Hadoop和其他大数据技术如此引人注目的部分原因是，他们让企业找到问题的答案，而在此之前他们甚至不知道问题是什么。这可能会产生引出新产品的想法，或者帮助确定改善运营效率的方法。不过，也有一些已经明确的大数据用例，无论是互联网巨头如谷歌，Facebook和LinkedIn还是更多的传统企业。它们包括：

情感分析： Hadoop与先进的文本分析工具结合，分析社会化媒体和社交网络发布的非结构化的文本，包括Tweets和Facebook，以确定用户对特定公司，品牌或产品的情绪。分析既可以专注于宏观层面的情绪，也可以细分到个人用户的情绪。

风险建模： 财务公司、银行等公司使用Hadoop和下一代数据仓库分析大量交易数据，以确定金融资产的风险，模拟市场行为为潜在的“假设”方案做准备，并根据风险为潜在客户打分。

欺诈检测： 金融公司、零售商等使用大数据技术将客户行为与历史交易数据结合来检测欺诈行为。例如，信用卡公司使用大数据技术识别可能的被盗卡的交易行为。

客户流失分析： 企业使用Hadoop和大数据技术分析客户行为数据并确定分析模型，该模型指出哪些客户最有可能流向存在竞争关系的供应商或服务商。企业就能采取最有效的措施挽留欲流失客户。

用户体验分析： 面向消费者的企业使用Hadoop和其他大数据技术将之前单一 客户互动渠道（如呼叫中心，网上聊天，微博等）数据整合在一起， 以获得对客户体验的完整视图。这使企业能够了解客户交互渠道之间的相互影响，从而优化整个客户生命周期的用户体验。

当然，上述这些都只是大数据用例的举例。事实上，在所有企业中大数据最引人注目的用例可能尚未被发现。这就是大数据的希望。

有还是有的，像百度指数、360指数、微指数，优酷也有视频指数，但是这些的使用有限制，必须是收入了热点词库才有数据，相对而言就是受众极为广泛的舆情才有分析（制作热门就是基于能够共享，用同样的数据支撑起更多的增加访问量和客源）小事件的舆情分析，那肯定是要收费的，看题主是要自己用还是公司用，如果公司用就不要省钱吧。

大数据研究常用软件工具与应用场景

如今，大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。

工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力， 也成为数据科学家所必须掌握的知识技能。

然而，现实情况的复杂性决定了并不存在解决一切问题的终极工具。实际研究过程中，需要根据实际情况灵活选择最合适的工具（甚至多种工具组合使用），才能更好的完成研究探索。

为此，本文针对研究人员（非技术人员）的实际情况，介绍当前大数据研究涉及的一些主要工具软件（因为相关软件众多，只介绍常用的），并进一步阐述其应用特点和适合的场景，以便于研究人员能有的放矢的学习和使用。

基础篇

传统分析/商业统计

Excel、SPSS、SAS 这三者对于研究人员而言并不陌生。

Excel 作为电子表格软件，适合简单统计（分组/求和等）需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小（这一点让很多研究人员尤为头疼）。这两年Excel在大数据方面（如地理可视化和网络关系分析）上也作出了一些增强，但应用能力有限。

SPSS（SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析（如回归、方差、因子、多变量分析等）处理。

SPSS 轻量、易于使用，但功能相对较少，适合常规基本统计分析

SAS 功能丰富而强大（包括绘图能力），且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

上述三个软件在面对大数据环境出现了各种不适，具体不再赘述。但这并不代表其没有使用价值。如果使用传统研究方法论分析大数据时，海量原始数据资源经过前期处理（如降维和统计汇总等）得到的中间研究结果，就很适合使用它们进行进一步研究。

数据挖掘

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler（注意不是SPSS Statistics，其前身为Clementine）

SPSS Modeler 的统计功能相对有限, 主要是提供面向商业挖掘的机器学习算法（决策树、神经元网络、分类、聚类和预测等）的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

另一个商业软件 Matlab 也能提供大量数据挖掘的算法，但其特性更关注科学与工程计算领域。而著名的开源数据挖掘软件Weka，功能较少，且数据预处理和结果分析也比较麻烦，更适合学术界或有数据预处理能力的使用者。

中级篇

1、通用大数据可视化分析

近两年来出现了许多面向大数据、具备可视化能力的分析工具，在商业研究领域，TableAU无疑是卓越代表。

TableAU 的优势主要在于支持多种大数据源/格式，众多的可视化图表类型，加上拖拽式的使用方式，上手快，非常适合研究员使用，能够涵盖大部分分析研究的场景。不过要注意，其并不能提供经典统计和机器学习算法支持， 因此其可以替代Excel, 但不能代替统计和数据挖掘软件。另外，就实际处理速度而言，感觉面对较大数据（实例超过3000万记录）时，并没有官方介绍的那么迅速。

2 、关系分析

关系分析是大数据环境下的一个新的分析热点（比如信息传播图、社交关系网等），其本质计算的是点之间的关联关系。相关工具中，适合数据研究人员的是一些可视化的轻量桌面型工具，最常用的是Gephi。

Gephi 是免费软件，擅长解决图网络分析的很多需求，其插件众多，功能强且易用。我们经常看到的各种社交关系/传播谱图, 很多都是基于其力导向图（Force directed graph）功能生成。但由于其由java编写，限制了处理性能（感觉处理超过10万节点/边时常陷入假死），如分析百万级节点（如微博热点传播路径）关系时，需先做平滑和剪枝处理。 而要处理更大规模（如亿级以上）的关系网络（如社交网络关系）数据，则需要专门的图关系数据库（如GraphLab/GraphX）来支撑了，其技术要求较高，此处不再介绍。

3、时空数据分析

当前很多软件（包括TableAU）都提供了时空数据的可视化分析功能。但就使用感受来看，其大都只适合较小规模（万级）的可视化展示分析，很少支持不同粒度的快速聚合探索。

如果要分析千万级以上的时空数据，比如新浪微博上亿用户发文的时间与地理分布（从省到街道多级粒度的探索）时，推荐使用 NanoCubes（http://wwwnanocubesnet/）。该开源软件可在日常的办公电脑上提供对亿级时空数据的快速展示和多级实时钻取探索分析。下图是对芝加哥犯罪时间地点的分析，网站有更多的实时分析的演示例子

4、文本/非结构化分析

基于自然语言处理（NLP）的文本分析，在非结构化内容（如互联网/社交媒体/电商评论）大数据的分析方面（甚至调研开放题结果分析）有重要用途。其应用处理涉及分词、特征抽取、情感分析、多主题模型等众多内容。

由于实现难度与领域差异，当前市面上只有一些开源函数包或者云API（如BosonNLP）提供一些基础处理功能，尚未看到适合商业研究分析中文文本的集成化工具软件（如果有谁知道烦请通知我）。在这种情况下，各商业公司（如HCR）主要依靠内部技术实力自主研发适合业务所需的分析功能。

高级篇

前面介绍的各种大数据分析工具，可应对的数据都在亿级以下，也以结构化数据为主。当实际面临以下要求： 亿级以上/半实时性处理/非标准化复杂需求 ，通常就需要借助编程（甚至借助于Hadoop/Spark等分布式计算框架）来完成相关的分析。 如果能掌握相关的编程语言能力，那研究员的分析能力将如虎添翼。

当前适合大数据处理的编程语言，包括：

R语言——最适合统计研究背景的人员学习，具有丰富的统计分析功能库以及可视化绘图函数可以直接调用。通过Hadoop-R更可支持处理百亿级别的数据。 相比SAS，其计算能力更强，可解决更复杂更大数据规模的问题。

Python语言——最大的优势是在文本处理以及大数据量处理场景，且易于开发。在相关分析领域，Python代替R的势头越来越明显。

Java语言——通用性编程语言，能力最全面，拥有最多的开源大数据处理资源（统计、机器学习、NLP等等）直接使用。也得到所有分布式计算框架（Hadoop/Spark）的支持。

前面的内容介绍了面向大数据研究的不同工具软件/语言的特点和适用场景。 这些工具能够极大增强研究员在大数据环境下的分析能力，但更重要的是研究员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

以上是小编为大家分享的关于大数据研究常用软件工具与应用场景的相关内容，更多信息可以关注环球青藤分享更多干货

情感分析（Sentiment Analysis）

第一步，就是确定一个词是积极还是消极，是主观还是客观。这一步主要依靠词典。

英文已经有伟大词典资源：SentiWordNet 无论积极消极、主观客观，还有词语的情感强度值都一并拿下。

但在中文领域，判断积极和消极已经有不少词典资源，如Hownet，NTUSD但用过这些词典就知道，效果实在是不咋滴（最近还发现了大连理工发布的情感词汇本体库，不过没用过，不好评价）。中文这方面的开源真心不够英文的做得细致有效。而中文识别主客观，那真的是不能直视。

中文领域难度在于：词典资源质量不高，不细致。另外缺乏主客观词典。

第二步，就是识别一个句子是积极还是消极，是主观还是客观。

有词典的时候，好办。直接去匹配看一个句子有什么词典里面的词，然后加总就可以计算出句子的情感分值。

但由于不同领域有不同的情感词，比如看上面的例子，“蓝屏”这个词一般不会出现在情感词典之中，但这个词明显表达了不满的情绪。因此需要另外根据具体领域构建针对性的情感词典。

如果不那么麻烦，就可以用有监督的机器学习方法。把一堆评论扔到一个算法里面训练，训练得到分类器之后就可以把评论分成积极消极、主观客观了。

分成积极和消极也好办，还是上面那个例子。5颗星的评论一般来说是积极的，1到2颗星的评论一般是消极的，这样就可以不用人工标注，直接进行训练。但主客观就不行了，一般主客观还是需要人来判断。加上中文主客观词典不给力，这就让机器学习判断主客观更为困难。

中文领域的难度：还是词典太差。还有就是用机器学习方法判断主客观非常麻烦，一般需要人工标注。

另外中文也有找到过资源，比如这个用Python编写的类库：SnowNLP 就可以计算一句话的积极和消极情感值。但我没用过，具体效果不清楚。

到了第三步，情感挖掘就升级到意见挖掘（Opinion Mining）了。

这一步需要从评论中找出产品的属性。拿手机来说，屏幕、电池、售后等都是它的属性。到这一步就要看评论是如何评价这些属性的。比如说“屏幕不错”，这就是积极的。“电池一天都不够就用完了，坑爹啊”，这就是消极的，而且强度很大。

这就需要在情感分析的基础上，先挖掘出产品的属性，再分析对应属性的情感。

分析完每一条评论的所有属性的情感后，就可以汇总起来，形成消费者对一款产品各个部分的评价。

接下来还可以对比不同产品的评价，并且可视化出来。如图。

这一步的主要在于准确挖掘产品属性（一般用关联规则），并准确分析对应的情感倾向和情感强度。因此这需要情感分析作为基础。首先要找到评论里面的主观句子，再找主观句子里的产品属性，再计算属性对应的情感分。所以前面基础不牢固，后面要准确分析就有难度。

中文这个领域的研究其实很完善了，技术也很成熟。但需要完善前期情感分析的准确度。

总的来说，就是中文词典资源不好，工作做得不是很细很准。前期的一些基础不牢固，后面要得到准确的分析效果就不容易了。

爱你的人，是不会舍得真的离开，懂你的人不需要你讲。爱不是得到也不是拥有，只是彼此之间发自内心的疼爱与关怀，感情那是不一定要言明，只要是在彼此之间一个眼神一个动作那都是自然，都是默契彼此的信赖彼此的关爱就是爱情。

本文可以学习到以下内容：

数据及源码地址： https://giteecom/myrensheng/data_analysis

小凡，用户对耳机商品的评论信息，你有没有什么好的办法分析一下？经理来向小凡请教问题。

嗯，小凡想了一会儿

我想到了两种分析方法：

经理听完，甚是欣慰，便让小凡着手分析用户的评论数据。

数据解释：

小凡使用百度飞浆（paddlepaddle）模型库中的情感分析模型，将评论数据（content）转化为情感类别积极1，消极0

一、window10+anaconda3的安装命令：

二、安装预训练模型应用工具 PaddleHub

可以看到，大约 60% 的用户给出好评

用户的评论内容多集中在配置、音质等主题上

这里使用百度飞浆的LAC分词模型

分析结束后，小凡总结出以下结论：

小凡将结论汇报给经理，和经理一起想出一个可行的方案解决目前存在的问题。

Malt：一个用于句法分析的工具

1 简介

Malt是一个开源的用于句法分析的工具，它使用基于转移的依存分析算法来分析文本中的语法结构。该工具可以帮助研究人员和开发者快速、准确地分析大量的文本数据，以便更好地理解自然语言的语法规则和结构。

2 特点

Malt具有许多出色的特点，包括：

1高效：Malt能够处理大量的文本数据，并在相对较短的时间内进行句法分析。

2精准：该工具使用基于转移的依存分析算法，可以准确地分析文本中的语法结构。

3灵活：Malt可以通过配置不同的参数和选项来适应不同的任务和应用场景。

3 使用方法

使用Malt进行句法分析主要包括以下几个步骤：

1准备文本数据：将需要分析的文本数据以合适的格式准备好，通常是将文本数据保存为纯文本或者特定格式的文件。

2训练模型：通过指定一些参数和选项来训练语法分析模型。训练模型的过程需要使用已经标注好的分析数据。

3进行句法分析：将待分析的文本数据输入到已经训练好的模型中，进行句法分析。

4输出结果：将分析结果以适合的格式输出，并进行后续的处理和应用。

4 应用实例

Malt可以应用于多种不同的领域和应用中，包括自然语言处理、文本挖掘、信息检索等。以下是一些Malt的应用实例：

1情感分析：使用Malt进行句法分析可以帮助研究人员和企业分析处理客户评论、网络帖子等文本数据，从而更好地理解用户情感、诉求和反馈。

2句法分析：Malt可以帮助研究人员和开发者分析大量的文本数据，从而更好地理解自然语言的语法规则和结构，并对句子的意思进行理解和推断。

3文本分类：使用Malt进行句法分析可以帮助研究人员和企业对文本数据进行分类，从而更好地维护和管理企业数据、语料库等资源。

5 结论

Malt是一个出色的用于句法分析的工具，它可以帮助研究人员和开发者快速、准确地分析大量的文本数据，以便更好地理解自然语言的语法规则和结构，从而更好地应用自然语言处理技术。同时，Malt具有高效、精准、灵活等优点，可以适应多种不同的应用场景和领域。