大数据业务模型有哪些?

1、会员数据化运营分析模型

类型：会员细分模型、会员价值模型、会员活跃度模型、会员流失预测模型、会员特征分析模型、市场营销回应预测模型。

2、商品数据化运营分析模型

类型：商品价格敏感度模型、新产品市场定位模型、销售预测模型、商品关联销售模型、异常订单检测模型、商品规划的最优组合。

3、流量数据化运营分析模型

类型：流量波动检测、渠道特征聚类、广告整合传播模型、流量预测模型。

4、内容数据化运营分析模型

类型：情感分析模型、搜索优化模型、文章关键字模型、主题模型、垃圾信息检测模型。

探码科技大数据分析及处理过程

数据集成：构建聚合的数据仓库

将客户需要的数据通过网络爬虫、结构化数据、本地数据、物联网设备、人工录入等进行全位实时的汇总采集，为企业构建自由独立的数据库。消除了客户数据获取不充分，不及时的问题。目的是将客户生产、运营中所需要的数据进行收集存储。

2数据管理：建立一个强大的数据湖

将数据库中的数据经过抽取、清洗、转换将分散、零乱、标准不统一的数据整合到一起，通过在分析数据库中建模数据来提高查询性能。合并来自多个来源的数据，构建复杂的连接和聚合，以创建数据的可视化图标使用户能更直观获得数据价值。为内部商业智能系统提供动力，为您的业务提供有价值的见解。

3数据应用：将数据产品化

将数据湖中的数据，根据客户所处的行业背景、需求、用户体验等角度将数据真正的应用化起来生成有价值的应用服务客户的商务办公中。将数据真正做到资产化的运作。

聚云化雨的处理方式：

聚云化雨的处理方式

聚云：探码科技全面覆盖各类数据的处理应用。以数据为原料，通过网络数据采集、生产设备数据采集的方式将各种原始数据凝结成云，为客户打造强大的数据存储库；

化雨：利用模型算法和人工智能等技术对存储的数据进行计算整合让数据与算法产生质变反应化云为雨，让真正有价值的数据流动起来；

开渠引流，润物无声：将落下“雨水”汇合成数据湖泊，对数据进行标注与处理根据行业需求开渠引流，将一条一条的数据支流汇合集成数据应用中，为行业用户带来价值，做到春风化雨，润物无声。

大数据舆情分析工具有：识微商情监测系统、鹰眼速读网系统、新浪舆情通。

1、识微商情监测系统

拥有自主研发的网络爬虫技术，在对全网舆情进行实时监测的同时，能够自动对全网舆情进行分析，包括舆情溯源分析、舆情传播转载媒体类型分析、舆情演变发展趋势分析、舆情情感分析等，舆情分析图表以及舆情分析简报等同步生成。

2、鹰眼速读网系统

一款专业面向各级政府的的大数据舆情分析工具软件，能够提供对全网话题、全网热点、重大事件、民生热点等的分析，在全网范围内分析挖掘舆情的传播声量、传播来源、传播媒体类型、转载情况以及情感态度，为用户“速读全网”舆情，了解传播路径，把握发展态势服务。

3、新浪舆情通

以中文互联网大数据及社交媒体官方数据为基础，提供舆情信息发现、热度监测、预警到详细分析、全程监控舆情信息路径等服务，能够对全网事件、社交媒体事件、竞品等进行分析。

三大舆情大数据公司：

1、湖南识微科技有限公司

旗下代表产品识微商情监测系统，基于大数据服务云——蚁工厂（Antfact），专注于为企业提供互联网信息挖掘分析服务，拥有一支专业技术团队，确保后续的产品售后服务。

2、湖南蚁坊软件股份有限公司

旗下代表产品鹰眼速读网系统，专业从事互联网大数据分析，具有日处理10亿多条实时数据、毫秒级的实时数据处理、PB级的批量数据处理以及3万QPS查询处理能力。

3、上海蜜度信息技术有限公司

旗下代表产品新浪舆情通，公司专注于舆情和大数据分析，在互联网信息采集、大数据处理和移动互联网领域拥有核心技术和知识产权，建立了完整的运营队伍，有着完善的内部作业流程和管理规范。

大数据时代:五大商业分析技术趋势

目前，趋势中心对如何应对分析挑战的关注力度并不亚于他们考虑在新商业视角中如何充分利用机遇的力度。例如，随着越来越多的公司开始不得不面对海量数据以及 考虑如何利用这些数据，管理与分析大型不同数据集的技术开始出现。提前分析成本与性能趋势意味着公司能够提出比以前更为复杂的问题，提供更为有用的信息以 帮助他们运营业务。

在采访中，首席信息官们总结出了5大影响他们进行分析的IT趋势。它们分别为：大数据的增长、快速处理技术、IT商品的成本下降、移动设备的普及和社交媒体的增长。

1大数据

大数据指非常庞大的数据集，尤其是那些没有被整齐的组织起来无法适应传统数据仓库的数据集。网络蜘蛛数据、社交媒体反馈和服务器日志，以及来自供应链、行业、周边环境与监视传感器的数据都使得公司的数据变得比以往越来越复杂。

尽管并不是每个公司都需要处理大型、非结构型数据集的技术。VeriskAnalytics公司首席信息官PerryRotella认为所有的首席信息 官都应当关注大数据分析工具。Verisk帮助金融公司评估风险，与保险公司共同防范保险诈骗，其在2010年的营收超过了10亿美元。

Rotella认为，技术领导者对此应当采取的态度是，数据越多越好，欢迎数据的大幅增长。Rotella的工作是预先寻找事物间的联系与模型。

HMS公司首席信息官CynthiaNustad认为，大数据呈现为一种“爆炸性”增长趋势。HMS公司的业务包括帮助控制联邦医疗保险 （Medicare）和医疗补助（Medicaid）项目成本和私有云服务。其客户包括40多个州的健康与人类服务项目和130多个医疗补助管理计划。 HMS通过阻止错误支付在2010年帮助其客户挽回了18亿美元的损失，节约了数十亿美元。Nustad称：“我们正在收集并追踪大量素材，包括结构性与 非结构性数据，因为你并不是总是知道你将在其中寻找什么东西。”

大数据技术中谈论最多的一项技术是Hadoop。该技术为开源分布式数据处理平台，最初是为编辑网络搜索索引等任务开发的。Hadoop为多个“非关系型（NoSQL）”技术（其包括CouchDB和MongoDB）中的一种，其通过特殊的方式组织网络级数据。

Hadoop可将数据的子集合分配给成百上千台服务器的处理，每台服务器汇报的结果都将被一个主作业调度程序整理，因此其具有处理拍字节级数据的能力。 Hadoop既能够用于分析前的数据准备，也能够作为一种分析工具。没有数千台空闲服务器的公司可以从亚马逊等云厂商那里购买Hadoop实例的按需访 问。

Nustad称，尽管并不是为了其大型的联邦医疗保险和医疗补助索赔数据库，但是HMS正在探索NoSQL技术的使用。其包括了结构性数据，并且能够被 传统的数据仓库技术所处理。她称，在回答什么样的关系型技术是经实践证明最好用的解决方案时，从传统关系型数据库管理出发是并不明智。不过，Nustad 认为Hadoop正在防止欺诈与浪费分析上发挥着重要作用，并且具备分析以各种格式上报的病人看病记录的潜力。

在采访中，那些体验过Hadoop的受访首席信息官们，包括Rotella和Shopzilla公司首席信息官JodyMulkey在内都在将数据服务作为公司一项业务的公司中任职。

Mulkey称：“我们正在使用Hadoop做那些以往使用数据仓库做的事情。更重要的是，我们获得了以前从未用过的切实有用的分析技术。”例如，作为 一家比较购买网站，Shopzilla每天会积累数太字节的数据。他称：“以前，我们必须要对数据进行采样并对数据进行归类。在处理海量数据时，这一工作 量非常繁重。”自从采用了Hadoop，Shopzilla能够分析原始数据，跳过许多中间环节。

GoodSamaritan医院是一家位于印第安纳州西南的社区医院，其处于另一种类型。该医院的首席信息官ChuckChristian称：“我们并 没有我认为是大数据的东西。”尽管如此，管理规定要求促使其存储整如庞大的电子医疗记录等全新的数据类型。他称，这无疑要求他们要能够从数据中收集医疗保 健品质信息。不过，这可能将在地区或国家医疗保健协会中实现，而不是在他们这种单个医院中实现。因此，Christian未必会对这种新技术进行投资。

IslandOneResorts公司首席信息官JohnTernent称，其所面临的分析挑战取决于大数据中的“大”还是“数据”。不过，目前他正在 谨慎地考虑在云上使用Hadoop实例，以作为一种经济的方式分析复杂的抵押贷款组合。目前公司正在管理着佛罗里达州内的8处分时度假村。他称：“这种解 决方案有可能解决我们目前正遇到的实际问题。”

2商业分析速度加快

肯塔基大学首席信息官VinceKellen认为，大数据技术只是快速分析这一大趋势中的一个元素。他称：“我们期待的是一种更为先进的海量数据分析方法。”与更为快速地分析数据相比，数据的大小并不重要，“因为你想让这一过程快速完成”。

由于目前的计算能够在内存中处理更多的数据，因此与在硬盘中搜索数据相比，其计算出结果的速度要更快。即使你仅处理数G数据，但情况依然与此。

尽管经过数十年的发展，通过缓存频繁访问的数据，数据库性能提升了许多。在加载整个大型数据集至服务器或服务器集群的内存时，这一技术变得更加实用，此时硬盘只是作为备份。由于从旋转的磁盘中检索数据是一个机械过程，因此与在内存中处理数据相比，其速度要慢许多。

Rotella称，他现在几秒中进行的分析在五年前需要花上一个晚上。Rotella的公司主要是对大型数据集进行前瞻性分析，这经常涉及查询、寻找模 型、下次查询前的调整。在分析速度方面，查询完成时间非常重要。他称：“以前，运行时间比建模时间要长，但是现在建模时间要比运行时间长。”

列式数据库服务器改变了关系型数据库的传统行与列结构，解决了另一些性能需求。查询仅访问有用的列，而不是读取整个记录和选取可选列，这极大地提高了组织或测量关键列的应用的性能。

Ternent警告称，列式数据库的性能优势需要配合正确的应用和查询设计。他称：“为了进行区别，你必须以适当的方式问它适当的问题。”此此同时，他 还指出，列式数据库实际上仅对处理超过500G字节数据的应用有意义。他称：“在让列式数据库发挥作用之前，你必须收集一规模的数据，因为它依赖一定水平 的重复提升效率。”

保险与金融服务巨头JohnHancock公司的首席信息官AllanHackney称，为了提高分析性能，硬件也需要进行提升，如增加GPU芯片，其 与游戏系统中用到的图形处理器相同。他称：“可视化需用到的计算方法与统计分析中用到的计算方法非常相似。与普通的PC和服务器处理器相比，图形处理器的 计算速度要快数百倍。我们的分析人员非常喜欢这一设备。”

3技术成本下降

随着计算能力的增长，分析技术开始从内存与存储价格的下降中获益。同时，随着开源软件逐渐成为商业产品的备选产品，竞争压力也导致商业产品价格进一步下降。

Ternent为开源软件的支持者。在加入IslandOne公司之前，Ternent为开源商业智能公司Pentaho的工程副总裁。他称：“对于我来说，开源决定着涉足领域。因为像IslandOne这样的中等规模公司能够用开源应用R替代SAS进行统计分析。”

以前开源工具仅拥有基本的报告功能，但是现在它们能够提供最为先进的预测分析。他称：“目前开源参与者能够横跨整个连续统一体，这意味着任何人都能够使用它们。”

HMS公司的Nustad认为，计算成本的变化正在改变着一些基础性架构的选择。例如，创建数据仓库的一个传统因素是让数据一起进入拥有强大计算能力的 服务器中以处理它们。当计算能力不足时，从操作系统中分离分析工作负载可以避免日常工作负载的性能出现下降。Nustad称，目前这已经不再是一个合适的 选择了。

她称：“随着硬件与存储越来越便宜，你能够让这些操作系统处理一个商业智能层。”通过重定数据格式和将数据装载至仓库中，直接建立在操作应用上的分析能够更为迅速地提供答案。

Hackney观察认为，尽管性价比趋势有利于管理成本，但是这些潜在的节约优势将被日益增长的能力需求所抵消。尽管JohnHancock每台设备的存储成本在今年下降了2至3%，但是消耗却增长了20%。

4移动设备的普及

与所有的应用一样，商业智能正日益移动化。对于Nustad来说，移动商业智能具有优先权，因为每个人都希望Nustad能够随时随地亲自访问关于她的 公司是否达到了服务级协议的报告。她还希望为公司的客户提供数据的移动访问，帮助客户监控和管理医疗保健开销。她称：“这是一个客户非常喜欢的功能。在五 年前，客户不需要这一功能，但是现在他们需要这一功能了。”

对于首席信息官来说，要迎合这一趋势更多的是为智能手机、平板电脑和触摸屏设备创建适用的用户界面，而不是更为复杂的分析能力。或许是出于这方面的原因，Kellen认为这相对容易。他称：“对于我来说，这只是小事情。”

Rotella并不认为这很简单。他称：“移动计算影响着每一个人。许多人开始使用iPad工作，同时其它的移动设备正在呈现爆炸式增长。这一趋势正在 加速并改变我们与公司内部计算资源交互的方式。”例如，Verisk已经开发了能够让理赔人在现场快速进行分析的产品，因此他们能够进行重置成本评估。他 称：“这种方式对我们的分析产生了影响，同时也让每一个需要它的人随手就能使用。”

Rotella称：“引发这种挑战的因素在于技术的更新速度。两年前，我们没有iPad，而现在许多人都在使用iPad。随着多种操作系统的出现，我们正力争搞清楚其是如何影响我们的研发的，这样一来我们就不必一而再、再而三的编写这些应用。”

IslandOne的Ternent指出，另一方面，为每一种移动平台创建原生应用的需求可能正在消退，因为目前手机和平板电脑上的浏览器拥有了更为强 大的功能。Ternent称：“如果我能够使用一款专门针对移动设备的基于web的应用，那么我并不能肯定我将会对定制的移动设备应用进行投资。”

5社交媒体的加入

随着脸谱、推特等社交媒体的兴起，越来越多的公司希望分析这些由网站产生的数据。新推出的分析应用支持人类语言处理、情感分析和网络分析等统计技术，这些并不是典型商业智能工具套件的组成部分。

由于它们都是新的，许多社交媒体分析工具可以作用服务获得。其中一个典型范例是Radian6。Radian6为软件即服务（SaaS）产品，近期已经 被Salesforcecom所收购。Radian6是一种社交媒体仪表盘，为TwITter的留言、脸谱上的帖子、博客与讨论版上的帖子与评论中提及 的特定术语以正负数显示，尤其是为商标名提供生动的直观推断。当营销与客户服务部门购买后，这类工具不再对IT部门有很严重的依赖性。目前，肯塔基大学的 Kellen仍然相信他需要对它们高度关注。他称：“我的工作是识别这些技术，根据竞争力评估哪些算法适合公司，然后开始培训合适的人员。”

与其他公司一样，大学也对监督他们大学的声誉十分感兴趣。与此同时，Kellen表示，他可能还将寻找机会以开发专门用于解决学校所关注问题的应用，如 监督学生入学率等问题。例如，监控学生在社交媒体上的帖子能够有帮于学校与管理人员尽早了解学生在大学里遇到的麻烦。Kellen称，目前戴尔已经做了这 些工作，其产品支持公司探测人们关于故障笔记本电脑的推文。他称，IT开发人员还应当寻找一些办法将社交媒体分析得出的报警信息推送至应用中，以便于公司 对相关事件快速做出反应。

Hackney称：“我们没有诀窍，也没有工具处理和挖掘海量社交媒体帖子的价值。不过，一旦你收集了数据，你需要有能力获取公司事件的充足信息，以将 它们关联起来。”虽然Hackney称JohnHancock在这一领域内的努力还处于“起步阶段”，但是他认为IT部门将在公司数据的社交分析服务所提 供的数据关联中发挥重要作用。例如，如果社交媒体数据显示公司在中西部地区的社会评论越来越负面，那么他将希望看一下如果公司在该地区就价格或策略进行调 整是否会扭转这一负面发展趋势。

Hackney称，发现这类关联的意义在于让公司领导相信对社交媒体的投资具有高回报。他称：“在我所从事的行业中，每个人都是精算师，每个人都在计算，他们不会将任何东西建立在想当然之上。”

以上是小编为大家分享的关于大数据时代:五大商业分析技术趋势的相关内容，更多信息可以关注环球青藤分享更多干货

详解大数据的思想如何形成与其价值维度

比如经济上，黄仁宇先生对宋朝经济的分析中发现了“数目字管理”(即定量分析)的广泛应用(可惜王安石变法有始无终)。又如军事，“向林彪学习数据挖掘”的桥段不论真假，其背后量化分析的思想无疑有其现实基础，而这一基础甚至可以回推到2000多年前，孙膑正是通过编造“十万灶减到五万灶再减到三万灶”的数据、利用庞涓的量化分析习惯对其进行诱杀。

到上世纪50-60年代，磁带取代穿孔卡片机，启动了数据存储的革命。磁盘驱动器随即发明，它带来的最大想象空间并不是容量，而是随机读写的能力，这一下子解放了数据工作者的思维模式，开始数据的非线性表达和管理。数据库应运而生，从层次型数据库(IBM为阿波罗登月设计的层次型数据库迄今仍在建行使用)，到网状数据库，再到现在通用的关系数据库。与数据管理同时发源的是决策支持系统(DSS)，80年代演变到商业智能(BI)和数据仓库，开辟了数据分析——也就是为数据赋予意义——的道路。

那个时代运用数据管理和分析最厉害的是商业。第一个数据仓库是为宝洁做的，第一个太字节的数据仓库是在沃尔玛。沃尔玛的典型应用是两个：一是基于retaillink的供应链优化，把数据与供应商共享，指导它们的产品设计、生产、定价、配送、营销等整个流程，同时供应商可以优化库存、及时补货;二是购物篮分析，也就是常说的啤酒加尿布。关于啤酒加尿布，几乎所有的营销书都言之凿凿，我告诉大家，是Teradata的一个经理编的，人类历史上从没有发生过，但是，先教育市场，再收获市场，它是有功的。

仅次于沃尔玛的乐购(Tesco)，强在客户关系管理(CRM)，细分客户群，分析其行为和意图，做精准营销。

这些都发生在90年代。00年代时，科研产生了大量的数据，如天文观测、粒子碰撞，数据库大拿吉姆·格雷等提出了第四范式，是数据方法论的一次提升。前三个范式是实验(伽利略从斜塔往下扔)，理论(牛顿被苹果砸出灵感，形成经典物理学定律)，模拟(粒子加速太贵，核试验太脏，于是乎用计算代替)。第四范式是数据探索。这其实也不是新鲜的，开普勒根据前人对行星位置的观测数据拟合出椭圆轨道，就是数据方法。但是到90年代的时候，科研数据实在太多了，数据探索成为显学。在现今的学科里，有一对孪生兄弟，计算XX学和XX信息学，前者是模拟/计算范式，后者是数据范式，如计算生物学和生物信息学。有时候计算XX学包含了数据范式，如计算社会学、计算广告学。

2008年克里斯·安德森(长尾理论的作者)在《连线》杂志写了一篇《理论的终结》，引起轩然大波。他主要的观点是有了数据，就不要模型了，或者很难获得具有可解释性的模型，那么模型所代表的理论也没有意义了。跟大家说一下数据、模型和理论。大家先看个粗糙的图。

首先，我们在观察客观世界中采集了三个点的数据，根据这些数据，可以对客观世界有个理论假设，用一个简化的模型来表示，比如说三角形。可以有更多的模型，如四边形，五边形。随着观察的深入，又采集了两个点，这时发现三角形、四边形的模型都是错的，于是确定模型为五边形，这个模型反映的世界就在那个五边形里，殊不知真正的时间是圆形。

大数据时代的问题是数据是如此的多、杂，已经无法用简单、可解释的模型来表达，这样，数据本身成了模型，严格地说，数据及应用数学(尤其是统计学)取代了理论。安德森用谷歌翻译的例子，统一的统计学模型取代了各种语言的理论/模型(如语法)，能从英文翻译到法文，就能从瑞典文翻译到中文，只要有语料数据。谷歌甚至能翻译克莱贡语(StarTrek里编出来的语言)。安德森提出了要相关性不要因果性的问题，以后舍恩伯格(下面称之为老舍)只是拾人牙慧了。

当然，科学界不认同《理论的终结》，认为科学家的直觉、因果性、可解释性仍是人类获得突破的重要因素。有了数据，机器可以发现当前知识疆域里面隐藏的未知部分。而没有模型，知识疆域的上限就是机器线性增长的计算力，它不能扩展到新的空间。在人类历史上，每一次知识疆域的跨越式拓展都是由天才和他们的理论率先吹起的号角。

2010年左右，大数据的浪潮卷起，这些争论迅速被淹没了。看谷歌趋势，”bigdata”这个词就是那个时间一下子蹿升了起来。吹鼓手有几家，一家是IDC，每年给EMC做digitaluniverse的报告，上升到泽字节范畴(给大家个概念，现在硬盘是太字节，1000太=1拍，阿里、Facebook的数据是几百拍字节，1000拍=1艾，百度是个位数艾字节，谷歌是两位数艾字节，1000艾=1泽);一家是麦肯锡，发布《大数据：创新、竞争和生产力的下一个前沿》;一家是《经济学人》，其中的重要写手是跟老舍同着《大数据时代》的肯尼思？库克耶;还有一家是Gartner，杜撰了3V(大、杂、快)，其实这3V在2001年就已经被编出来了，只不过在大数据语境里有了全新的诠释。

咱们国内，欢总、国栋总也是在2011年左右开始呼吁对大数据的重视。

2012年子沛的书《大数据》教育政府官员有功。老舍和库克耶的《大数据时代》提出了三大思维，现在已经被奉为圭臬，但千万别当作放之四海而皆准的真理了。

比如要数据全集不要采样。现实地讲，1没有全集数据，数据都在孤岛里;2全集太贵，鉴于大数据信息密度低，是贫矿，投入产出比不见得好;3宏观分析中采样还是有用的，盖洛普用5000个样本胜过几百万调查的做法还是有实践意义;4采样要有随机性、代表性，采访火车上的民工得出都买到票的结论不是好采样，现在只做固定电话采样调查也不行了(移动电话是大头)，在国外基于Twitter采样也发现不完全具有代表性(老年人没被包括);5采样的缺点是有百分之几的偏差，更会丢失黑天鹅的信号，因此在全集数据存在且可分析的前提下，全量是首选。全量>好的采样>不均匀的大量。

再说混杂性由于精确性。拥抱混杂性(这样一种客观现象)的态度是不错的，但不等于喜欢混杂性。数据清洗比以前更重要，数据失去辨识度、失去有效性，就该扔了。老舍引用谷歌PeterNovig的结论，少数高质量数据+复杂算法被大量低质量数据+简单算法打败，来证明这一思维。Peter的研究是Web文本分析，确实成立。但谷歌的深度学习已经证明这个不完全对，对于信息维度丰富的语音、数据，需要大量数据+复杂模型。

最后是要相关性不要因果性。对于大批量的小决策，相关性是有用的，如亚马逊的个性化推荐;而对于小批量的大决策，因果性依然重要。就如中药，只到达了相关性这一步，但它没有可解释性，无法得出是有些树皮和虫壳的因导致治愈的果。西药在发现相关性后，要做随机对照试验，把所有可能导致“治愈的果”的干扰因素排除，获得因果性和可解释性。在商业决策上也是一样，相关性只是开始，它取代了拍脑袋、直觉获得的假设，而后面验证因果性的过程仍然重要。

把大数据的一些分析结果落实在相关性上也是伦理的需要，动机不代表行为。预测性分析也一样，不然警察会预测人犯罪，保险公司会预测人生病，社会很麻烦。大数据算法极大影响了我们的生活，有时候会觉得挺悲哀的，是算法觉得了你贷不贷得到款，谷歌每调整一次算法，很多在线商业就会受到影响，因为被排到后面去了。

下面时间不多了，关于价值维度，我贴一些以前讲过的东西。大数据思想中很重要的一点是决策智能化之外，还有数据本身的价值化。这一点不赘述了，引用马云的话吧，“信息的出发点是我认为我比别人聪明，数据的出发点是认为别人比我聪明;信息是你拿到数据编辑以后给别人，而数据是你搜集数据以后交给比你更聪明的人去处理。”大数据能做什么？价值这个V怎么映射到其他3V和时空象限中？我画了个图：

再贴上解释。“见微”与“知着”在Volume的空间维度。小数据见微，作个人刻画，我曾用《一代宗师》中“见自己”形容之;大数据知着，反映自然和群体的特征和趋势，我以“见天地、见众生”比喻之。“着”推动“微”(如把人群细分为buckets)，又拉动“微”(如推荐相似人群的偏好给个人)。“微”与“着”又反映了时间维度，数据刚产生时个人价值最大，随着时间decay最后退化为以集合价值为主。

“当下”和“皆明”在Velocity的时间维度。当下在时间原点，是闪念之间的实时智慧，结合过往(负轴)、预测未来(正轴)，可以皆明，即获得perpetual智慧。《西游记》里形容真假孙悟空，一个是“知天时、通变化”，一个是“知前后、万物皆明”，正好对应。为达到皆明，需要全量分析、预测分析和处方式分析(prescriptiveanalytics，为让设定的未来发生，需要采取什么样的行动)。

“辨讹”和“晓意”在Variety的空间维度。基于大体量、多源异质的数据，辨讹过滤噪声、查漏补缺、去伪存真。晓意达到更高境界，从非结构数据中提取语义、使机器能够窥探人的思想境界、达到过去结构化数据分析不能达到之高度。

先看知着，对宏观现象规律的研究早已有之，大数据的知着有两个新特点，一是从采样到全量，比如央视去年“你幸福吗”的调查，是街头的采样，前不久《中国经济生活大调查》关于幸福城市排名的结论，是基于10万份问卷(17个问题)的采样，而清华行为与大数据实验室做的幸福指数(继挺兄、我、还有多位本群群友参与)，是基于新浪微博数据的全集(托老王的福)，这些数据是人们的自然表达(而不是面对问卷时的被动应对)，同时又有上下文语境，因此更真实、也更有解释性。北上广不幸福，是因为空气还是房价或教育，在微博上更容易传播的积极情绪还是消极情绪，数据告诉你答案。《中国经济生活大调查》说“再小的声音我们都听得见”，是过头话，采样和传统的统计分析方法对数据分布采用一些简化的模型，这些模型把异常和长尾忽略了，全量的分析可以看到黑天鹅的身影，听到长尾的声音。

另一个特点是从定性到定量。计算社会学就是把定量分析应用到社会学，已经有一批数学家、物理学家成了经济学家、宽客，现在他们也可以选择成为社会学家。国泰君安3I指数也是一个例子，它通过几十万用户的数据，主要是反映投资活跃程度和投资收益水平的指标，建立一个量化模型来推知整体投资景气度。

再看见微，我认为大数据的真正差异化优势在微观。自然科学是先宏观、具体，进入到微观和抽象，这时大数据就很重要了。我们更关注社会科学，那是先微观、具体，再宏观、抽象，许小年索性认为宏观经济学是伪科学。如果市场是个体行为的总和，我们原来看到是一张抽象派的画，看不懂，通过客户细分慢慢可以形成一张大致看得懂的现实图景，不过是马赛克的，再通过微分、甚至定位个人，形成高清图。我们每一个人现在都生活在零售商的bucket中(前面说的乐购创造了这个概念)，最简单的是高收入、低收入这类反映背景的，再有就是反映行为和生活方式的，如“精打细算”、“右键点击一族”(使用右键的比较techsavvy)。反过来我们消费者也希望能够获得个性化的尊崇，Nobody wants to be nobody today。

了解并掌握客户比以往任何时候都更重要。奥巴马赢在大数据上，就是因为他知道西岸40-49岁女性的男神是乔治·克鲁尼，东岸同样年龄段女性的偶像则是莎拉·杰西卡·帕克(《欲望都市》的主角)，他还要更细分，摇摆州每一个郡每一个年龄段每一个时间段在看什么电视，摇摆州(俄亥俄)1%选民随时间变化的投票倾向，摇摆选民在Reddit上还是Facebook上，都在其掌握之中。

对于企业来说，要从以产品为中心，转到以客户(买单者)甚至用户(使用者)为中心，从关注用户背景到关注其行为、意图和意向，从关注交易形成转到关注每一个交互点/触点，用户是从什么路径发现我的产品的，决定之前又做了什么，买了以后又有什么反馈，是通过网页、还是QQ、微博或是微信。

再讲第三个，当下。时间是金钱，股票交易就是快鱼吃慢鱼，用免费股票交易软件有几秒的延迟，而占美国交易量60-70%的高频程序化交易则要发现毫秒级、低至1美分的交易机会。时间又是生命，美国国家大气与海洋管理局的超级计算机在日本311地震后9分钟发出海啸预警，已经太晚。时间还是机会。现在所谓的购物篮分析用的其实并不是真正的购物篮，而是结帐完的小票，真正有价值的是当顾客还拎着购物篮，在浏览、试用、选择商品的时候，在每一个触点影响他/她的选择。数据价值具有半衰期，最新鲜的时候个性化价值最大，渐渐退化到只有集合价值。当下的智慧是从刻舟求剑到见时知几，原来10年一次的人口普查就是刻舟求剑，而现在东莞一出事百度迁徙图就反映出来了。当然，当下并不一定是完全准确的，其实如果没有更多、更久的数据，匆忙对百度迁徙图解读是可能陷入误区的。

第四个，皆明。时间有限，就简单说了。就是从放马后炮到料事如神(predictiveanalytics)，从料事如神到运筹帷幄(prescriptiveanalytics)，只知道有东风是预测分析，确定要借箭的目标、并给出处方利用草船来借，就是处方性分析。我们现在要提高响应度、降低流失率、吸引新客户，需要处方性分析。

辨讹就是利用多源数据过滤噪声、查漏补缺和去伪存真。20多个省市的GDP之和超过全国的GDP就是一个例子，我们的GPS有几十米的误差，但与地图数据结合就能做到精确，GPS在城市的高楼中没有信号，可以与惯性导航结合。

晓意涉及到大数据下的机器智能，是个大问题，也不展开了。贴一段我的文章：有人说在涉及“晓意”的领域人是无法替代的。这在前大数据时代是事实。《点球成金(Moneyball)》讲的是数量化分析和预测对棒球运动的贡献，它在大数据背景下出现了传播的误区：一、它其实不是大数据，而是早已存在的数据思维和方法;二、它刻意或无意忽略了球探的作用。从读者看来，奥克兰竞技队的总经理比利·比恩用数量化分析取代了球探。而事实是，在运用数量化工具的同时，比恩也增加了球探的费用，军功章里有机器的一半，也有人的一半，因为球探对运动员定性指标(如竞争性、抗压力、意志力等)的衡量是少数结构化量化指标无法刻画的。大数据改变了这一切。人的数字足迹的无意识记录，以及机器学习(尤其是深度学习)晓意能力的增强，可能逐渐改变机器的劣势。今年我们看到基于大数据的情感分析、价值观分析和个人刻画，当这些应用于人力资源，已经或多或少体现了球探承担的。

对已收集到的大数据进行分析

许多公司都收集了大量的数据，他们感觉这些数据存在着商业价值，但并不知道怎样从这些弄出来的值大的数据。不同行业的数据集有所不同，比如，如果你处于网络营销行业，你可能会有大量Web站点的日志数据集，这可以把数据按会话进行划分，进行分析以了解网站访客的行为并提升网站的访问体验。同样，来自制造业的质量保证数据将有助于公司生产出更可靠的产品和选择更好的供应商，而通过RFID数据可以帮助你更深入地供应链中产品的运动轨迹。

重点分析对你的行业有价值的大数据

大数据的类型和内容因行业而异，每一类数据对于每个行业的价值是不一样的。比如电信行业的呼叫详细记录（CDR），零售业、制造业或其他以产品为中心的行业的RFID数据，以及制造业（特别是汽车和消费电子）中机器人的传感器数据等等，这些都是各个行业中非常重要的数据。

理解非结构化的大数据

非结构化的信息主要指的是是使用文字表达的人类语言，这与大多数关系型数据有着很大的不同，你需要使用一些新的工具来进行自然语言处理、搜索和文本分析。把基于文本内容的业务流程进行可视化展示，比如，保险索赔过程，医疗病历记录，各个行业的呼叫中心和帮助台应用程序，以及以客户为导向的企业情感分析等内容均可以在进行处理后以可视化的形式表现出来。

使用社交媒体数据来扩展现有的客户分析

客户的各种行为比如评论品牌、评价产品、参与营销活动或表示他们的喜好等等，会在客户中相互影响。社交大数据可以来自社交媒体网站，以及自有的客户能够表达意见及事实的渠道。我们可以使用预测性分析发现规律和预测产品或服务的问题。我们也可以利用这些数据来评估市场知名度、品牌美誉度、用户情绪变动和新的客户群。

把客户的意见整合到大数据中

通过运用大数据（与原有的企业资源集成），我们可以对客户或其他商业实体（产品，供应商，合作伙伴）实现360度全景分析，分析的维度属性从几百个扩展到几千个。新增的粒状细节带来更准确的客户群细分，直销策略和客户分析。

整合大数据以改善原有的分析应用

对于原有的分析应用，大数据可以扩大和扩展其数据样本。尤其在依赖于大样本的分析技术的情况下，比如统计或数据挖掘；而在欺诈检测、风险管理或精确计算的情况下同样也得用上大样本的数据。

近年来，大数据不断向世界的各行各业渗透，影响着我们的衣食住行。例如，网上购物时，经常会发现电子商务门户网站向我们推荐商品，往往这类商品都是我们最近需要的。这是因为用户上网行为轨迹的相关数据都会被搜集记录，并通过大数据分析，使用推荐系统将用户可能需要的物品进行推荐，从而达到精准营销的目的。下面简单介绍几种大数据的应用场景。

大数据在医疗行业的应用

大数据让就医看病更简单。过去，对于患者的治疗方案，大多数都是通过医师的经验来进行，优秀的医师固然能够为患者提供好的治疗方案，但由于医师的水平不相同，所以很难保证患者都能够接受最佳的治疗方案。

而随着大数据在医疗行业的深度融合，大数据平台积累了海量的病例、病例报告、治愈方案、药物报告等信息资源所有常见的病例、既往病例等都记录在案，医生通过有效、连续的诊疗记录，能够给病人优质、合理的诊疗方案。这样不仅提高医生的看病效率，而且能够降低误诊率，从而让患者在最短的时间接受最好的治疗。下面列举大数据在医疗行业的应用，具体如下。

(1) 优化医疗方案，提供最佳治疗方法。

面对数目及种类众多的病菌、病毒，以及肿瘤细胞时，疾病的确诊和治疗方案的确定也是很困难的。借助于大数据平台，可以搜集不同病人的疾病特征、病例和治疗方案，从而建立医疗行业的病人分类数据库。如果未来基因技术发展成熟，可以根据病人的基因序列特点进行分类，建立医疗行业的病人分类数据库。在医生诊断病人时可以参考病人的疾病特征、化验报告和检测报告，参考疾病数据库来快速帮助病人确诊，明确地定位疾病。在制订治疗方案时，医生可以依据病人的基因特点，调取相似基因、年龄、人种、身体情况相同的有效治疗方案，制订出适合病人的治疗方案，帮助更多人及时进行治疗。同时这些数据也有利于医药行业研发出更加有效的药物和医疗器械。

(2)有效预防预测疾病。

解决患者的疾病,最为简单的方式就是防患于未然。通过大数据对于群众的人体数据监控，将各自的健康数据、生命体征指标都集合在数据库和健康档案中。通过大数据分析应用，推动覆盖全生命周期的预防、治疗、康复和健康管理的一体化健康服务,这是未来健康服务管理的新趋势。当然，这一点不仅需 要医疗机构加快大数据的建设，还需要群众定期去做检查，及时更新数据，以便通过大数据来预防和预测疾病的发生，做到早治疗、早康复。当然,随着大数据的不断发展，以及在各个领域的应用，一些大规模的流感也能够通过大数据实现预测。

大数据在金融行业的应用

随着大数据技术的应用，越来越多的金融企业也开始投身到大数据应用实践中。麦肯锡的一份研究显示，金融业在大数据价值潜力指数中排名第一。下面列举若干大数据在金融行业的典型应用，具体如下。

(1) 精准营销。

银行在互联网的冲击下，迫切需要掌握更多用户信息，继而构建用户360立体画像，即可对细分的客户进行精准营销、实时营销等个性化智慧营销。

(2) 风险管控。

应用大数据平台，可以统一管理金融企业内部多源异构数据和外部征信数据,更好地完善风控体系。内部可保证数据的完整性与安全性，外部可控制用户风险。

(3) 决策支持。

通过大数据分析方法改善经营决策，为管理层提供可靠的数据支撑，从而使经营决策更高效、敏捷、精准。

(4) 服务创新。

通过对大数据的应用，改善与客户之间的交互、增加用户黏性，为个人与政府提供增值服务,不断增强金融企业业务核心竞争力。

(5) 产品创新。

通过高端数据分析和综合化数据分享,有效对接银行、保险、信托、基金等各类金融产品，使金融企业能够从其他领域借鉴并创造出新的金融产品。

大数据在零售行业的应用

美国零售业曾经有这样一个传奇故事，某家商店将纸尿裤和啤酒并排放在一起销售，结果纸尿裤和啤酒的销量双双增长!为什么看起来风马牛不相及的两种商品搭配在一起，能取到如此惊人的效果呢后来经过分析发现，这些购买者多数是已婚男士，这些男士在为小孩购买尿不湿的同时，会同时为自己购买一些啤酒。发现这个秘密后，沃尔玛超市就大胆地将啤酒摆放在尿不湿旁边，这样顾客购买的时候更方便，销量自然也会大幅上升。

之所以讲“啤酒-尿布”这个例子，其实是想告诉大家，挖掘大数据潜在的价值，是零售业竞争的核心竞争力，下面列举若干大数据在零售业的创新应用，具体如下。

(1) 精准定位零售行业市场。

企业想进人或开拓某一区域零售行业市场，首先要进行项目评估和可行性分析，只有通过项目评估和可行性分析才能最终决定是否适合进人或者开拓这块市场。通常需要分析这个区域流动人口是多少消费水平怎么样客户的消费习惯是什么市场对产品的认知度怎么样当前的市场供需情况怎么样等等，这些问题背后包含的海量信息构成了零售行业市场调研的大数据，对这些大数据的分析就是市场定位过程。

(2) 支撑行业收益管理。

大数据时代的来临，为企业收益管理工作的开展提供了更加广阔的空间。需求预测、细分市场和敏感度分析对数据需求量很大，而传统的数据分析大多采集的是企业自身的历史数据来进行预测和分析，容易忽视整个零售行业信息数据，因此难免使预测结果存在偏差。企业在实施收益管理过程中如果能在自有数据的基础上，依靠一些自动化信息采集软件来收集更多的零售行业数据，了解更多的零售行业市场信息,这将会对制订准确的收益策略，赢得更高的收益起到推进作用。

(3) 挖掘零售行业新需求。

作为零售行业企业，如果能对网上零售行业的评论数据进行收集，建立网评大数据库，然后再利用分词、聚类、情感分析了解消费者的消费行为、价值取向、评论中体现的新消费需求和企业产品质量问题，以此来改进和创新产品，量化产品价值，制定合理的价格及提高服务质量，从中获取更大的收益。