R数据科学（五）探索性数据分析

明确概念：探索性数据分析（exploratory data analysis， EDA），一般过程为：

(1) 对数据提出问题。

(2) 对数据进行可视化、转换和建模，进而找出问题的答案。

(3) 使用上一个步骤的结果来精炼问题，并提出新问题。

确定变量是分类变量还是连续变量，要想检查分类变量的分布，可以使用条形图：

条形的高度表示每个 x 值中观测的数量，可以使用 dplyr::count() 手动计算出这些值：

要想检查连续变量的分布，可以使用直方图：

可以通过 dplyr::count() 和 ggplot2::cut_width() 函数的组合来手动计算结果 binwidth 参数来设定直方图中的间隔的宽度，该参数是用 x 轴变量的单位来度量的。

在同一张图上叠加多个直方图, 用geom_freqploy()代替geom_histogram()，用折线表示。

相似值聚集形成的簇表示数据中存在子组。

coord_cartesian() 函数中有一个用于放大 x 轴的 xlim() 参数。 ggplot2 中也有功能稍有区

别的 xlim() 和 ylim() 函数：它们会忽略溢出坐标轴范围的那些数据。

如果带有异常值和不带异常值的数据分别进行分析，结果差别较大的话要找出异常值的原因，如果差别不大，可以用NA代替。

534　练习

(1)研究 x、 y 和 z 变量在 diamonds 数据集中的分布。你能发现什么？思考一下，对于一条

钻石数据，如何确定表示长、宽和高的变量？

(2)研究 price 的分布，你能发现不寻常或令人惊奇的事情吗？（提示：仔细考虑一下

binwidth 参数，并确定试验了足够多的取值。）

(3) 099 克拉的钻石有多少？ 1 克拉的钻石有多少？造成这种区别的原因是什么？

(4)比较并对比 coord_cartesina() 和 xlim()/ylim() 在放大直方图时的功能。如果不设置

binwidth 参数，会发生什么情况？如果将直方图放大到只显示一半的条形，那么又会发

生什么情况？

数据中有异常值，可以将异常值去掉：

一般不建议去掉，建议使用缺失值来代替异常值。

ifelse函数参数1放入逻辑判断，如果为T，结果就是第二个参数的值，如果为F，就是第三个参数的值。

ggplot2会忽略缺失值：

练习

(1) 直方图如何处理缺失值？条形图如何处理缺失值？为什么会有这种区别？

(2) narm = TRUE 在 mean() 和 sum() 函数中的作用是什么？

移除缺失值再进行统计

按分类变量的分组显示连续变量分布的另一种方式是使用箱线图

练习

(1) 前面对比了已取消航班和未取消航班的出发时间，使用学习到的知识对这个对比的可视

化结果进行改善。

(2) 在钻石数据集中，哪个变量对于预测钻石的价格最重要？这个变量与切割质量的关系是

怎样的？为什么这两个变量的关系组合会导致质量更差的钻石价格更高呢？

(3) 安装 ggstance 包，并创建一个横向箱线图。这种方法与使用 coord_flip() 函数有何区别？

(4) 箱线图存在的问题是，在小数据集时代开发而成，对于现在的大数据集会显示出数量极

其庞大的异常值。解决这个问题的一种方法是使用字母价值图。安装 lvplot 包，并尝试

使用 geom_lv() 函数来显示价格基于切割质量的分布。你能发现什么问题？如何解释这

种图形？

(5) 比较并对比 geom_violin()、分面的 geom_histogram() 和着色的 geom_freqploy()。每种方法的优缺点是什么？

(6) 对于小数据集，如果要观察连续变量和分类变量间的关系，有时使用 geom_jitter() 函数是特别有用的。 ggbeeswarm 包提供了和 geom_jitter()相似的一些方法。列出这些方法

并简单描述每种方法的作用。

两个分类变量的关系肯定要先计数，可以用geom_count()函数

d3heatmap 或 heatmaply 包可以生成交互式图

练习

(1) 如何调整 count 数据，使其能更清楚地表示出切割质量在颜色间的分布，或者颜色在切

割质量间的分布？

(2) 使用 geom_tile() 函数结合 dplyr来探索平均航班延误数量是如何随着目的地和月份的

变化而变化的。为什么这张图难以阅读？如何改进？

(3) 为什么在以上示例中使用 aes(x = color, y = cut) 要比 aes(x = cut, y = color) 更好？

连续变量之间的关系一般用散点图来表示。geom_point()

对于大数据集，为了避免重合，可以用geom_bin2d() 和 geom_hex()函数将坐标平面分为二维分箱，并使用一种填充颜色表示落入

每个分箱的数据点。

另一种方式是对一个连续变量进行分箱，因此这个连续变量的作用就相当于分类变量。

cut_width(x, width) 函数将 x 变量分成宽度为 width 的分箱。参数 varwidth = TRUE 让箱线图的宽度与观测数量成正比。

cut_number() 函数近似地显示每个分箱中的数据点的数量

练习

(1) 除了使用箱线图对条件分布进行摘要统计，你还可以使用频率多边形图。使用 cut_

width() 函数或 cut_number() 函数时需要考虑什么问题？这对 carat 和 price 的二维分

布的可视化表示有什么影响？

(2) 按照 price 分类对 carat 的分布进行可视化表示。

(3) 比较特别大的钻石和比较小的钻石的价格分布。结果符合预期吗？还是出乎意料？

(4) 组合使用你学习到的两种技术，对 cut、 carat 和 price 的组合分布进行可视化表示。

(5) 二维图形可以显示一维图形中看不到的离群点。例如，以下图形中的有些点具有异常的

x 值和 y 值组合，这使得这些点成为了离群点，即使这些点的 x 值和 y 值在单独检验时

似乎是正常的。

ggplot(data = diamonds) +

geom_point(mapping = aes(x = x, y = y)) +

coord_cartesian(xlim = c(4, 11), ylim = c(4, 11))

数据中的模式提供了关系线索,用于探索两个变量的相关性。

模型是用于从数据中抽取模式的一种工具。

残差（预测值和实际值之间的差别）

阅读推荐：

生信技能树公益视频合辑：学习顺序是linux，r，软件安装，geo，小技巧，ngs组学！

B站链接： https://mbilibilicom/space/338686099

YouTube链接： https://myoutubecom/channel/UC67sImqK7V8tSWHMG8azIVA/playlists

生信工程师入门最佳指南： https://mpweixinqqcom/s/vaX4ttaLIa19MefD86WfUA

Poportions（比例）：EX（极好）、VG（很好）、G（好）、F（一般）、P（差）

    Total depth（全深比）

    Table size（台宽比）

    Crown height（冠高比）

    Crowm angle（冠角）

    Girdle thickness（腰厚比）：Thin（薄）、Medium（中等）、Thick（厚）；此外faceted（刻面腰）、polished（抛光腰）、rough（打磨的腰——类似于磨砂的状态）

    Pavilion angle（亭角）

    Pavilion depth（亭深比）

    Culet size（底小面大小）：None（无）、Very Small（极小）、Small（小）

    Finish（修饰度——包括抛光和对称性两方面）

      Polish（抛光）：EX（极好）、VG（很好）、G（好）、F（一般）、P（差）

      Symmetry（对称性）：EX（极好）、VG（很好）、G（好）、F（一般）、P（差）

      美国GIA的钻石切工分级中以Tolkowsky（托尔科夫斯基）圆钻型为标准切工。3EX指比例、抛光和对称性都是“极好”级的。

 Coments：净度级别由钻石的内部纹理决定，内部和外部纹理未标注。

根据最近发表在《科学高级》上的一篇文章，钻石可以用来长期存储数据。实验数据显示，一颗钻石的长度只有一粒米的一半，比一张纸还薄，它的数据存储量是DVD的数百倍。与世界上不断增长的数据和信息相比，这种存储能力并不算太强。未来，物理学家有望将钻石的存储容量提高到DVD的一百万倍甚至更多。

几十年来，人们一直在用与天然钻石硬度相似的人造钻石制造工业钻头、锯片和医用植入物的外膜。但科学家最近发现，如果一些人造裂缝是由钻石造成的，它们也可能在量子计算机中发挥作用。研究表明，量子计算机在一瞬间可以完成比整个宇宙中原子总数更多的计算。

科学家说，钻石上的裂缝可以用来储存信息，就像CD和DVD上的微小“凹坑”。领导这项研究的纽约市研究所物理学家Siddharth dhomkar说：“我们是第一个发现钻石可以用作超密储存平台的人"。Domcal指出：“如果引入第三维度，数据存储容量将大大提高"。利用研究人员开发的3D数据存储技术，我们可以制作出一种新型的数据存储光盘，存储空间可达普通DVD光盘的100倍。

这些空穴通常储存电子，使钻石带负电。然而，研究人员可以通过发射激光将钻石变成中性。吸收激光后，小孔的特性将发生变化：它们在光线下不会再次闪烁，但始终保持深色。这种变化是可逆的，并且持续很长时间，弱光不会干扰它。研究结果表明，钻石可以以负电荷和中性电荷的形式存储数据，然后用激光读、写、擦、写。接下来，domcal和他的同事将继续探索如何从金刚石晶体的纳米结构中读写数据。他说：钻石芯片的数据存储密度将远高于传统硬盘"

一般来说钻戒上通常会有这些标签：G18K,AU750,G750,PT900,PT950,PT990,PD900,PD950等等，这些代表钻戒上的材质和材质含量。

1、G18K,AU750,G750是代表钻戒的材质是18K,含量75%的黄金，相对来说是最适合镶钻石的一种材质。

2、PT900,PT950,PT990是铂金的标注，代表含铂金量90%、95%、99%的饰品。

3、PD900、PD950代表含量90%、95%的钯金，并且PD也是这三种金中最便宜的一种。

4、还有的以D开头，然后跟着一些数字的。D是代表钻石，是“钻石”英文的首个字母。例如D050,指的是50分（05CT）的钻石。D131 d0075,指的是主石131克拉，副石75分（00075克拉）。

5、钻戒除了以上常见的符号外还有一些其他符号，有些是公司的缩写、生产地、厂家、品牌标注等，有些也会标注上钻石的切工、净度、颜色等级等。

1、90分的钻戒的直径是63毫米。

2、钻石直径大小表

3、以上的数据，都是国际上标准圆钻型钻石的数据，但是市场上的钻石，一般情况下数据会偏小一些，比如1克拉钻石的直径大约在63毫米到64毫米左右。

1，根据我国国家珠宝玉石质量检验师指定教材里，钻石一章，对钻石的专业解释。

2，天然形成的钻石含9995%的C元素。

3，微量元素有N,B,H Si，Ca，Mg，Mn，Ti，Cr，S，惰性气体级稀土稀有元素。

4，这些微量元素决定了钻石的类型，颜色，物理性质。

一般都用前面的4C标准来衡量钻石的品质，1、大小即重量：你这个是86分的就是086克拉，2、颜色：G色的（颜色最好的是D色，DEFG依次往下排）G色不错，3、净度：是VS1，4、切工：你的是EX即完美的最好的切工。除了这四个基本标准决定钻石品质，然后看下是否有荧光，有无荧光也会将钻石的价格的差距拉开很大，就是Fluorescence 这个系数，你的是None ,也就是没有荧光，没有荧光比有荧光好，从系数来讲是不错的钻石，然后你到店里拿他专业的放大镜看下，杂质是在钻石的哪个部位，是否明显，颜色这些，好的话就可以买啦。其他那些系数你可以不用看啦，一般就这几个系数决定价格