数据清洗的流程

数据清洗的基本流程一共分为5个步骤，分别是数据分析、定义数据清洗的策略和规则、搜寻并确定错误实例、纠正发现的错误以及干净数据回流。

1、数据分析

数据分析是数据清洗的前提和基础，通过人工检测或者计算机分析程序的方式对原始数据源的数据进行检测分析，从而得出原始数据源中存在的数据质量问题。

2、定义数据清洗的策略和规则

根据数据分析出的数据源个数和数据源中的“脏”数据程度定义数据清洗策略和规则，并选择合适的数据清洗算法。

3、搜寻并确定错误实例

搜寻并确定错误实例步骤包括自动检测属性错误和检测重复记录的算法。

手工检测数据集中的属性错误需要花费大量的时间、精力以及物力，并且该过程本身很容易出错，所以需要使用高效的方法自动检测数据集中的属性错误，主要检测方法有基于统计的方法、聚类方法和关联规则方法。

检测重复记录的算法可以对两个数据集或者一个合并后的数据集进行检测，从而确定同一个现实实体的重复记录，即匹配过程。检测重复记录的算法有基本的字段匹配算法、递归字段匹配算法等。

4、纠正发现的错误

根据不同的“脏”数据存在形式的不同，执行相应的数据清洗和转换步骤解决原始数据源中存在的质量问题。需要注意的是，对原始数据源进行数据清洗时，应该将原始数据源进行备份，以防需要撤销清洗操作。

为了便于处理单数据源、多数据源以及单数据源与其他数据源合并的数据质量问题，一般需要在各个数据源上进行数据转换操作。

5、干净数据回流

当数据被清洗后，干净的数据替代原始数据源中的“脏”数据，这样可以提高信息系统的数据质量，还可避免将来再次抽取数据后进行重复的清洗工作。

数据清洗顾名思义就是能清洗出号码中的不可用号码，和以往传统的号码匹配不同，最新型的清洗方式是系统拨测清洗，精准度不仅高速度还特别快。企业仅仅需要做的就是把号码导入系统，完成检测以后新的号码会自动被导出、分类。这样不仅能够使企业的号码库保持最新，更能使企业未来的发展道路顺畅。

数据清洗的原理

我们是运用运营商的接口进行查询，速度是8MS／一条，预计10万条在5分钟左右；

目前空号检测分为两种模式一种是web营销筛选，另一种是api账号二次清洗。目前由于运营商提出的手机号状态码价格之高，为了合理的减少合作伙伴的运营成本，故营销筛选的是利用库存数据进行筛选。命中率在90%左右，如果客户有高需求高精准的需求，建议使用API账号二次清洗，账号二次清洗命中率保证是100%，但价格相应的会高出很多。

数据筛选就是在大数据环境下数据量快速的积累，要想分析出海量数据所蕴含的价值，筛选出有价值的数据十分重要。而数据筛选在整个数据处理流程中处于至关重要的地位。数据筛选的目的是为了提高之前收集存储的相关数据的可用性，更利于后期数据分析。

数据筛选包括数据抽取、数据清理、数据加载三个部分。

数据筛选的目的是为了提高之前收集存储的相关数据的可用性，更利于后期数据分析。数据的价值在于其所能够反映的信息。然而在收集数据的时候，并没有能够完全考虑到未来的用途，在收集时只是尽可能的收集数据。其次就是为了更深层次的获得数据所包含的信息，可能需要将不同的数据源汇总在一起，从中提取所需要的数据，然而这就需要解决可能出现的不同数据源中数据结构相异、相同数据不同名称或者不同表示等问题。

（1）结构化数据，简单来说就是数据库。结合到典型场景中更容易理解，比如企业ERP、财务系统；医疗HIS数据库；教育一卡通；政府行政审批；其他核心数据库等。这些应用需要哪些存储方案呢？基本包括高速存储应用需求、数据备份需求、数据共享需求以及数据容灾需求。

（2）非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据（如数字、符号等信息）而且更适合处理非结构化数据（全文文本、图象、声音、影视、超媒体等信息）。

（3）数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。

数据清洗原理

数据清洗(data cleaning)，简单地讲，就是从数据源中清除错误和不一致，即利用有关技术如数理统计、数据挖掘或预定义的清洗规则等，从数据中检测和消除错误数据、不完整数据和重复数据等，从而提高数据的质量。业务知识与清洗规则的制定在相当程度上取决于审计人员的积累与综合判断能力。因此，审计人员应按以下标准评价审计数据的质量。

（一）准确性：数据值与假定正确的值的一致程度。

（二）完整性：需要值的属性中无值缺失的程度。

（三）一致性：数据对一组约束的满足程度。

（四）惟一性：数据记录（及码值）的惟一性。

（五）效性：维护的数据足够严格以满足分类准则的接受要求。