roc Beyonce欧美歌曲达人进！！！

　　从以下歌词可以看出，roc就是rock，rock有很多意思啊

　　例如， sb rocks xxx（人）很棒

　　歌词中 u r my rock （roc）可以理解为 宝石，宝贝，依靠，靠山

　　rock with u 中 就可以 理解为 摇滚，摇摆，（一起享乐舞动）

　　需要说明的是，roc（不仅和rock发音一样，还是她老公自创品牌唱片公司 Roc-A-Fella 的 象征） 这里很明显 是在 指代 她 男人 ………………

　　Oh oh oh ah, oh oh oh ah

　　If I wrote a book about where we stand

　　The title of my book would be "Life with Superman"

　　That's how you make me feel

　　I count you as a privilege

　　This love is so ideal

　　I'm honored to be in it

　　I know you feel the same

　　I see it everyday

　　In all the things you do

　　In all the things you say

　　You are my roc

　　Baby you're the truth

　　You are my roc

　　I love to rock with you

　　You are my roc

　　You're everything I need

　　You are my roc

　　So baby rock with me

　　I wanna kiss ya, feel ya, treat ya just fine

　　I wanna touch ya, love ya, baby all night

　　Reward ya, for all the things you do

　　You are my roc

　　I love to roc with you

　　I love to roc with you

　　Oh oh oh ah

　　If I wanna try to count the ways

　　You make me smile

　　I'll run out of fingers

　　Before I run out of time

　　The things to talk about

　　Suga you keeps it going on

　　Make me wanna keep my lovin strong

　　Make me wanna try my best

　　To give you what you want and what you need

　　Give you my whole heart, not just a little piece

　　More than a minimum, I'm talking everything

　　More than a single wish, I'm talking every dream

　　You are my roc

　　Baby you're the truth

　　You are my roc

　　I love to roc with you

　　You are my roc

　　You're everything I need

　　You are my roc

　　So baby roc with me

　　I wanna kiss ya, feel ya, please ya just right

　　I wanna touch ya, love ya, baby all night

　　Reward ya, for all the things you do

　　You are my roc

　　I love to roc with you

　　I wanna roc with you

　　If there's options, I dont want them

　　They're not worth my time

　　Cuz if it's not you, oh no thank you

　　I like us just fine

　　You're a rock in the sand

　　You're a smile and a cry

　　You're my joy through the pain

　　You're the truth through the lies

　　No matter what I do

　　I know that I can count on you

　　Oh oh oh ah, oh oh oh ah

　　You are my roc

　　Baby you're the truth

　　You are my roc

　　I love to rock with you

　　You are my roc

　　You're everything I need

　　You are my roc

　　So baby roc with me

　　I wanna kiss ya, feel ya, please ya just right

　　I wanna touch ya, love ya, baby all night

　　Reward ya, for all the things you do

　　You are my roc

　　I love to roc with you

　　I love to roc with you

　　Oh oh oh I, oh oh oh I

　　I wanna kiss ya, feel ya, please ya just right

　　I wanna touch ya, love ya, baby all night

　　Reward ya, for all the things you do

　　You are my roc

　　I love to roc with you

　　I wanna roc with you

首先我们来看看对AUcell的介绍

AUCell可以识别单细胞RNA序列数据中具有活跃基因集（例如signatures，基因模块）的细胞。 AUCell使用“曲线下面积”（AUC）来计算输入基因集的关键子集是否在每个细胞的表达基因中富集。 AUC分数在所有细胞中的分布允许探索特征的相对表达。 由于计分方法是基于排名的，因此AUCell不受基因表达单位和标准化程序的影响。 此外，由于对cell进行了单独评估，因此可以轻松地将其应用于更大的数据集，并根据需要对表达式矩阵进行分组。

那也就是说，AUcell是分析感兴趣的基因集在所有细胞是否存在富集，道理很简单，我们来看看主要分析内容

用AUcell进行分析分三步：

1、 Build the rankings

2、Calculate the Area Under the Curve (AUC)

3、Set the assignment thresholds

For each cell, the genes are ranked from highest to lowest value The genes with same expression value are shuffled Therefore, genes with expression ‘0’ are randomly sorted at the end of the ranking It is important to check that most cells have at least the number of expressed/detected genes that are going to be used to calculate the AUC (aucMaxRank in calcAUC()) The histogram provided by AUCell_buildRankings() allows to quickly check this distribution plotGeneCount(exprMatrix) allows to obtain only the plot before building the rankings

这个地方我们可以看出，对于每个基因，从高到底进行排名，也就是说每个细胞的每个基因都有一个排名，得到一个排名的矩阵。

二、 什么是ROC曲线

ROC全称是“受试者工作特征”(Receiver OperatingCharacteristic)曲线。 我们根据学习器的预测结果，把阈值从0变到最大，即刚开始是把每个样本作为正例进行预测，随着阈值的增大，学习器预测正样例数越来越少，直到最后没有一个样本是正样例。在这一过程中，每次计算出两个重要量的值，分别以它们为横、纵坐标作图，就得到了“ROC曲线”。

ROC曲线的纵轴是“真正例率”(True Positive Rate, 简称TPR)，横轴是“假正例率”(False Positive Rate,简称FPR)，基于上篇文章 《错误率、精度、查准率、查全率和F1度量》 的表1中符号，两者分别定义为：

显示ROC曲线的图称为“ROC图”。图1给出了一个示意图，显然， 对角线对应于“随机猜测”模型 ，而点(0,1)则对应于将所有正例预测为真正例、所有反例预测为真反例的“理想模型”。

图1：ROC曲线与AUC面积

现实任务中通常是利用有限个测试样例来绘制ROC图，此时仅能获得有限个(真正例率，假正例率)坐标对，无法产生图1中的光滑ROC曲线，只能绘制出图2所示的近似ROC曲线。绘制过程很简单：给定m + 个正例和m - 个反例，根据学习器预测结果对样例进行排序，然后把分类阈值设置为最大，即把所有样例均预测为反例，此时真正例率和假正例率均为0，在坐标(0,0)处标记一个点。然后，将分类阈值依次设为每个样例的预测值，即依次将每个样例划分为正例。设前一个标记点坐标为

三、 ROC曲线的意义

（1）主要作用

1 ROC曲线能很容易的查出任意阈值对学习器的泛化性能影响。

2有助于选择最佳的阈值。ROC曲线越靠近左上角，模型的查全率就越高。最靠近左上角的ROC曲线上的点是分类错误最少的最好阈值，其假正例和假反例总数最少。

3可以对不同的学习器比较性能。将各个学习器的ROC曲线绘制到同一坐标中，直观地鉴别优劣，靠近左上角的ROC曲所代表的学习器准确性最高。

（2）优点

1 该方法简单、直观、通过图示可观察分析方法的准确性，并可用肉眼作出判断。ROC曲线将真正例率和假正例率以图示方法结合在一起，可准确反映某种学习器真正例率和假正例率的关系，是检测准确性的综合代表。

2 在生物信息学上的优点：ROC曲线不固定阈值，允许中间状态的存在，利于使用者结合专业知识，权衡漏诊与误诊的影响，选择一个更加的阈值作为诊断参考值。

四、 AUC面积的由来

如果两条ROC曲线没有相交，我们可以根据哪条曲线最靠近左上角哪条曲线代表的学习器性能就最好。但是，实际任务中，情况很复杂，如果两条ROC曲线发生了交叉，则很难一般性地断言谁优谁劣。在很多实际应用中，我们往往希望把学习器性能分出个高低来。在此引入AUC面积。

在进行学习器的比较时，若一个学习器的ROC曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者；若两个学习器的ROC曲线发生交叉，则难以一般性的断言两者孰优孰劣。此时如果一定要进行比较，则比较合理的判断依据是比较 ROC曲线下的面积，即AUC(Area Under ROC Curve)， 如图1图2所示。

五、 什么是AUC面积

的点按序连接而形成，参见图2，则AUC可估算为公式3。

六、 AUC面积的意义

AUC是衡量二分类模型优劣的一种评价指标，表示预测的正例排在负例前面的概率。

看到这里，是不是很疑惑，根据AUC定义和计算方法，怎么和预测的正例排在负例前面的概率扯上联系呢？如果从定义和计算方法来理解AUC的含义，比较困难，实际上AUC和Mann-WhitneyU test(曼-慧特尼U检验)有密切的联系。从Mann-Whitney U statistic的角度来解释，AUC就是从所有正样本中随机选择一个样本，从所有负样本中随机选择一个样本，然后根据你的学习器对两个随机样本进行预测，把正样本预测为正例的概率p 1 ，把负样本预测为正例的概率p 2 ,p 1 > p 2 的概率就等于AUC。 所以AUC反映的是分类器对样本的排序能力。 根据这个解释，如果我们完全随机的对样本分类，那么AUC应该接近05。

另外值得注意的是，AUC的计算方法同时考虑了学习器对于正例和负例的分类能力，在样本不平衡的情况下，依然能够对分类器做出合理的评价。AUC对样本类别是否均衡并不敏感，这也是不均衡样本通常用AUC评价学习器性能的一个原因。例如在癌症预测的场景中，假设没有患癌症的样本为正例，患癌症样本为负例，负例占比很少(大概01%)，如果使用准确率评估，把所有的样本预测为正例便可以获得999%的准确率。但是如果使用AUC，把所有样本预测为正例，TPR为1，FPR为1。这种情况下学习器的AUC值将等于05，成功规避了样本不均衡带来的问题。

最后，我们在讨论一下： 在多分类问题下能不能使用ROC曲线来衡量模型性能？

我的理解：ROC曲线用在多分类中是没有意义的。只有在二分类中Positive和Negative同等重要时候，适合用ROC曲线评价。如果确实需要在多分类问题中用ROC曲线的话，可以转化为多个“一对多”的问题。即把其中一个当作正例，其余当作负例来看待，画出多个ROC曲线。

回到我们生信分析的第二步，对于AUC的计算

To determine whether the gene set is enriched at the top of the gene-ranking for each cell, AUCell uses the “Area Under the Curve” (AUC) of the recovery curve

In order to calculate the AUC, by default only the top 5% of the genes in the ranking are used (ie checks whether the genes in the gene-set or signature are within the top 5%) This allows faster execution on bigger datasets, and reduce the effect of the noise at the bottom of the ranking (eg where many genes might be tied at 0 counts) The percentage to take into account can be modified with the argument aucMaxRank For datasets where most cells express many genes (eg a filtered dataset), or these have high expression values, it might be good to increase this threshold Check the histogram provided by AUCell_buildRankings to get an estimation on where this threshold lies within the dataset

这里我们深入理解一下，对于一个细胞进行基因排序之后，得到下面的图：

至于基因集的选择，可以借助于hallmark，用于研究肿瘤特征分析。

数据分析最让人着迷的一种用途是可以基于现有数据创建能够区分不同类型情景的机器学习预测模型。通过定义明确的模型，可以确定能够预测结果的最重要影响因素，为战略假设开发有价值的洞察力，甚至可以通过友好的用户界面将模型的逻辑实现到软件应用程序中。

首先，我们需要评估构建好的预测模型是否具有良好准确的预测能力！比如，如果我们的电子邮件程序的垃圾邮件分类器只能检测到50％的不需要的电子邮件或请求，我们都会非常愤怒。本文将讨论如何使用经典工具来评估预测模型：接收器操作特性（ROC）曲线。

本文主要分为三个部分整理ROC曲线相关内容，可根据自己的需要进行挑选：

1、使用ROC曲线分析的相关文献实例

2、ROC曲线的原理和历史

3、如何绘制ROC曲线

从一篇SCI出发： Improvement of Insulin Sensitivity after Lean Donor Feces in Metabolic Syndrome Is Driven by Baseline Intestinal Microbiota Composition

这是阿姆斯特丹大学学术医学中心在2017年发表在cell子刊上的文献，其中一个highlight提到：Response to lean donor FMT is driven by baseline fecal microbiota composition，使用了ROC曲线来评估预测模型的好坏。

为了比较异体FMT中菌群与效果之间的关系，首先按照FMT前后Rd值的变化将患者分为responders组和non-responders组，并比较了两组的菌群差异，从菌群多样性变化来看，基于Shannon指数发现，两组的多样性均没有发生显著改变，然而，两组基线时的菌群多样性却又显著差异（图5A），具体表现为non-responders的基线菌群多样性显著高于responders。随后，作者使用了弹性网络算法elastic net algorithm ( Zou and Hastie, 2005 )区分responders和non-responders，为了避免过度拟合，在数据的训练分区(80%)上使用了十折交叉验证，剩下的20%样品用作测试数据集。要选择的参数是 L1，L2范数和正则化阈值之间的比率。稳定性选择采用80% 的随机二次抽样方法进行，共100次。在稳定性选择过程中，计算所有权重系数为非零的特征。这些计数被归一化并转换为稳定系数，对于总是被选择的特征值在10之间，对于从未被选择的特征值在00之间。通过随机试验评价弹性网络算法所得结果的统计有效性。按照程序将结果变量(例如，同种异体相对于自体或应答者相对于无应答者)随机重组，同时保留相应的微生物谱。重复100次，每次计算受试者-工作特征-曲线下面积(ROC AUC)评分。用于二进制分类任务的性能度量是 ROC AUC。ROC 可以理解为一个正确分类同种异体受试者与自体受试者或有效者与无效者的概率图。数据集中的交叉验证是通过随机隐藏模型中20% 的受试者并评估该组的预测质量来完成的。ROC AUC 评分用05 AUC 来衡量分类模型的预测准确性，对应于一个随机结果。定义了一个临界值005，并将原始数据集的真实 AUC 与此值进行了比较。

作者通过ROC曲线评估了基线菌群组成预测6周代谢反应的模型，显示AUC=088，模型良好。

从这篇文献了解到ROC曲线可用于评估某个寻找biomarkers的预测模型的好坏。

再从一篇SCI了解： Alterations in the gut microbiome and metabolism with coronary artery disease severity

这是一篇本课题组与北京协和医学院合作在2019年发表的文章，关注了不同冠状动脉疾病Coronary artery disease (CAD)类型患者的肠道菌群区分差异。其中，作者通过ROC曲线评估了区分不同CAD亚型（稳定型冠状动脉疾病(SCAD) ，不稳定型心绞痛(UA)和心肌梗死(MI)）的特征共变化菌群和代谢物随机森林模型，得到比较良好的预测结果。

Subgroup identification and prediction based on CAGs and CAD-associated metabotypes

为了确定肠道菌群中的 CAGs 和代谢产物模块是否可以作为鉴别冠心病不同阶段与正常冠状动脉的生物标志物，根据24个 CAGs 和72个血清代谢类型构建了随机森林模型对冠心病不同阶段进行分类，并利用 ROC曲线(ROC)曲线对分类进行了检验(详情见“材料和方法”一节)。总共构建了5个预测模型（Control vs CAD, Control vs SCAD, SCAD vs UA, SCAD vs ACS和UA vs MI）。

随后，作者再通过招募新队列使用该模型进行分类预测，进一步论证该疾病亚型识别模型的潜在分类能力。

小结：从这两篇文献来看，作者均通过某个分类法机器学习预测模型寻找biomarkers，然后使用ROC曲线对模型进行评估。因此，我们可以初步得知，ROC曲线是用于检验构建的预测模型好坏的一种衡量方法。那么除了这种用途，ROC曲线还能做什么呢？

为了进一步了解并应用ROC曲线，我们需要首先了解ROC曲线的原理和过往↓

关于ROC曲线相关介绍的文章非常多，这里我摘抄出个人认为比较详细，可用性强的文章，加以理解。

一、评估预测模型的方法

首先，我们应该了解到预测模型的类型可以分为回归模型和分类模型（分类模型又有两类算法：分类输出型和概率输出型，这里就不一一赘述），而不同模型的评估度量也是不同的， 如何评估模型好坏 ， 机器学习（二十四）——常见模型评估方法 ， 分类模型的评估方法简介 首先需要了解自己构建的预测模型类型来决定评估方法，并不局限于使用ROC曲线进行评估。

ROC曲线原理：

关于ROC曲线的概念和意义可参考： ROC曲线的概念和意义

英文比较好的话也可以看看这篇： ROC curves – what are they and how are they used

为了更直观的理解ROC，也可以看看这个视频： ROC and AUC, Clearly Explained!

受试者工作特征曲线（receiver operator characteristic curve, ROC曲线），最初用于评价雷达性能，又称为接收者操作特性曲线。ROC曲线其实就是从混淆矩阵衍生出来的图形，以真阳性率（灵敏度，Sensitivity）为纵坐标，假阳性率（1-特异度，1-Specificity）为横坐标绘制的曲线。

其自变量（检验项目）一般为连续性变量（如蛋白质因子、菌株、代谢物等的检测丰度或含量），因变量（金标准，如某疾病亚型分类、治疗响应和无响应、患病和未患病）一般为二分类变量。

ROC曲线图形：随着阈值的减小，更多的值归于正类，敏感度和1-特异度也相应增加，所以ROC曲线呈递增趋势。那条45度对角线是一条参照线，也就是说ROC曲线要与这条曲线比较。简单的说，如果我们不用模型，直接随机把客户分类，我们得到的曲线就是那条参照线，然而我们使用了模型进行预测，就应该比随机的要好，所以ROC曲线要尽量远离参照线，越远，我们的模型预测效果越好。

ROC曲线就是用来判断诊断的正确性，最理想的就是曲线下的面积为1，比较理想的状态就是曲线下的面积在08-09之间，05的话对实验结果没有什么影响。

提到ROC曲线，就离不开AUC(ROC曲线下面积)，其判定方法为AUC应该大于05。ROC曲线是根据与对角线进行比较来判断模型的好坏，但这只是一种直觉上的定性分析，如果我们需要精确一些，就要用到AUC，也就是ROC曲线下面积（AUC）。

从AUC判断分类器（预测模型）优劣的标准：

AUC = 1，是完美分类器，采用这个预测模型时，存在至少一个阈值能得出完美预测。绝大多数预测的场合，不存在完美分类器。

05 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。

AUC = 05，跟随机猜测一样（例：丢铜板），模型没有预测价值。

AUC < 05，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。

看上图，参考线的面积是05，ROC曲线与它偏离越大，ROC曲线就越往左上方靠拢，它下面的面积(AUC)也就越大，这里面积是0869。我们可以根据AUC的值与05相比，来评估一个分类模型的预测效果。

二、ROC曲线的历史和关键值

这里推荐阅读这篇： 机器学习基础（1）- ROC曲线理解 。这里从最初雷达兵使用ROC曲线评估的故事说起，言简意赅。

ROC曲线最初的研究是为了确定美国雷达“接收机操作员”是如何漏掉日本飞机的。在模型预测判断中，会出现真阳、假阳、真阴和假阴的三种情况，而不同雷达兵都可能有自己的一套评判标准，对每个接收的信号是大鸟还是轰炸机，每个雷达兵会给出自己的判断结果，这样每个雷达兵就都能计算出一个ROC曲线上的关键点（一组FPR,TPR值），把大家的点连起来，也就是最早的ROC曲线了。

ROC曲线需要了解几个关键值：

敏感性： 正确识别真阳性的比例。在这种情况下，健康患者的比例由诊断工具正确识别。这有时被称为“召回”。

SN =真阳性/（真阳性+假阴性）

逆（1灵敏度）=  假负率 。未被该工具检测到的健康患者被错误地识别为患有CAD。假阴性也称为II型错误。

特异性： 正确识别真阴性的比例。在这种情况下，通过诊断工具正确识别CAD患者的比例。

SP =真阴性/（真阴性+误报）

逆（1-特异性）=  假阳性率 。CAD患者被错误地识别为无CAD。误报也称为I型错误。

积极预测价值： 该工具报告的阳性比例，实际上是积极的。对于诊断工具报告缺乏CAD的患者组，PPV是实际上没有患病的患者的比例。这有时被称为“精确度”。

PPV =真阳性/（真阳性+误报）

负面预测值： 该工具报告的负面影响的比例，实际上是负面的。对于诊断工具报告存在CAD的患者组，NPV是实际上没有CAD的患者的比例。

NPV =真阴性/（真阴性+假阴性）

这里可以借助混淆矩阵加以理解：

TP(True Positive): 真实为0，预测也为0

FN(False Negative): 真实为0，预测为1

FP(False Positive): 真实为1，预测为0

TN(True Negative): 真实为0，预测也为0

三、ROC曲线的主要作用

1、ROC曲线能很容易地查出任意界限值时的对疾病的识别能力。

2、选择最佳的诊断界限值。

3、两种或两种以上不同诊断试验对疾病识别能力的比较。在对同一种疾病的两种或两种以上诊断方法进行比较时，可将各试验的ROC曲线绘制到同一坐标中，以直观地鉴别优劣，靠近左上角的ROC曲线所代表的受试者工作最准确。亦可通过分别计算各个试验的ROC曲线下的面积(AUC)进行比较，哪一种试验的AUC最大，则哪一种试验的诊断价值最佳。

四、交叉验证和过拟合问题

参考： 你真的了解交叉验证和过拟合吗？

机器学习Cross-Validation（交叉验证）详解

10折交叉验证（10-fold Cross Validation）与留一法（Leave-One-Out）、分层采样（Stratification）

意识到过拟合好像也是个棘手的问题，所以在这里补充一下：

简单来讲，当 train set 误差较小，而 test set 误差较大时，我们即可认为模型过拟合。这句话表达的另一层意思是，模型评估指标的方差（variance）较大，即可认为模型过拟合。另外，无论监督学习还是非监督学习，均存在过拟合的问题。

有一个比喻还不错，这里也摘抄下来：

语文老师 让同学A 解释一个句子：  ‘某鲁迅先生的文章~~~~~~~~’

欠拟合：    差生： 这是个什么鬼东西，比例哔哩哔哩~~~~

过拟合：    语文老师的解释： ‘表面上看是~~~，但其实~~~~，本质上~~~~~~，反映了~~~~心情，烘托了~~~气氛~~~’

正常：        当时鲁迅先生觉得天色晚了，该休息了。

那么，如何才能够在一定程度上避免过拟合呢？这就引出了交叉验证：

最简单的判断模型是否过拟合的方法，就是通过training accuracy 和 test accuracy 数值大小，直观的判断模型是否过拟合。例如，训练集的准确率为90%，而测试集的准确率为70%，那么我们可以认为模型过拟合。不过，这种方法没有明确的判断标准，完全靠个人的主观判断——“感觉训练和测试的误差相差有点大，有可能过拟合”。

如何利用交叉验证避免过拟合？

避免模型过拟合的方法，总结大概以下几点：

   - 重新清洗数据（删除稀疏特征、对噪声数据进行处理（删除/替换））

- 重新采样（改变采样方法等）

- 增加训练数据

- 采用交叉验证训练模型

- 重新筛选特征

- 降低模型复杂度（增加正则项：L1，L2）

- dropout（神经网络中，让神经元一定的概率不工作）

这里探讨如何利用交叉验证来避免模型过拟合：

第一个作用是对模型的性能进行评估 。当我们通过一次划分样本对模型进行训练和测试时，由于样本划分的偶然性，会导致我们对模型的评估不准确。因此，可以采用交叉验证对模型进行评估（一般采用5折或10折，sklearn默认采用的是3折），以 n 折交叉验证结果的均值，作为模型的性能评估。

第二个作用就是用来避免过拟合 。例如当我们进行10折交叉验证时，训练了10次，得到了10个模型，每个模型的参数也是不同的，那么我们究竟用哪个模型作为我们最终的模型呢？答案是： 一个都不用！我们要利用全量数据重新训练出一个最终模型！

关于实现ROC曲线的绘制，可通过多种途径进行，这里列出一些可操作平台和方法：

1、SPSS： 如何用SPSS做ROC曲线分析？看这1篇就够了！

2、R语言： R语言逻辑回归、ROC曲线和十折交叉验证

                    ROC曲线基于R语言-（pROC包）

                    R语言pROC包绘制ROC曲线

3、Python： 机器学习基础（1）- ROC曲线理解

                    ROC原理介绍及利用python实现二分类和多分类的ROC曲线

4、Matlab： Matlab绘图——ROC曲线绘制（官方demo）

                     ROC曲线详解及matlab绘图实例

ROC曲线的初步学习就到这里，我们初步了解到ROC曲线最初是用来评估雷达兵判断的轰炸机信号准确性的方法，随后沿用到了医学指标的判定上，在生活中应用广泛。ROC曲线可用于查出任意界限值时的对疾病的识别能力，选择最佳的诊断界限值，还可以用在评估机器学习预测模型的好坏上（目前好像这方面用的比较多）。当然，还有一些问题值得讨论，比如，何时需要使用ROC曲线，S折交叉验证平均ROC曲线如何绘制，等等。在机器学习模型构建过程中，训练集和测试集的建立，模型的交叉验证和ROC曲线评估的结合，还需要继续学习。

Kootte RS, Levin E, Salojärvi J, Smits LP, Hartstra AV, Udayappan SD, Hermes G, Bouter KE, Koopen AM, Holst JJ, Knop FK, Blaak EE, Zhao J, Smidt H, Harms AC, Hankemeijer T, Bergman JJGHM, Romijn HA, Schaap FG, Olde Damink SWM, Ackermans MT, Dallinga-Thie GM, Zoetendal E, de Vos WM, Serlie MJ, Stroes ESG, Groen AK, Nieuwdorp M Improvement of Insulin Sensitivity after Lean Donor Feces in Metabolic Syndrome Is Driven by Baseline Intestinal Microbiota Composition Cell Metab 2017 Oct 3;26(4):611-619e6 doi: 101016/jcmet201709008 PMID: 28978426

Liu H, Chen X, Hu X, Niu H, Tian R, Wang H, Pang H, Jiang L, Qiu B, Chen X, Zhang Y, Ma Y, Tang S, Li H, Feng S, Zhang S, Zhang C Alterations in the gut microbiome and metabolism with coronary artery disease severity Microbiome 2019 Apr 26;7(1):68 doi: 101186/s40168-019-0683-9 PMID: 31027508; PMCID: PMC6486680

Rodriguez-Ruiz A, Lång K, Gubern-Merida A, Broeders M, Gennaro G, Clauser P, Helbich TH, Chevalier M, Tan T, Mertelmeier T, Wallis MG, Andersson I, Zackrisson S, Mann RM, Sechopoulos I Stand-Alone Artificial Intelligence for Breast Cancer Detection in Mammography: Comparison With 101 Radiologists J Natl Cancer Inst 2019 Sep 1;111(9):916-922 doi: 101093/jnci/djy222 PMID: 30834436; PMCID: PMC6748773

Duclos G, Bobbia X, Markarian T, Muller L, Cheyssac C, Castillon S, Resseguier N, Boussuges A, Volpicelli G, Leone M, Zieleskiewicz L Speckle tracking quantification of lung sliding for the diagnosis of pneumothorax: a multicentric observational study Intensive Care Med 2019 Sep;45(9):1212-1218 doi: 101007/s00134-019-05710-1 Epub 2019 Jul 29 PMID: 31359081

　　《come on rock 》Nadiya - Roc

　　试听链接 试听http://vyoukucom/v_show/id_XNDMxNTk3OTI=html

　　以下是歌词

　　Welcome to the roc !

　　Comme un roc !

　　Comme un roc !

　　Comme un roc !

　　Ensemble comme un roc !

　　Tous unis comme un roc !

　　Tous tel un bloc

　　Solides comme le roc !

　　Ensemble comme un roc !

　　En ce lieu comme un roc !

　　Boostés à bloc !

　　Solides comme le roc ! Roc, roc, roc

　　Solides comme le roc ! Roc, roc, roc

　　Des traces, que la raison

　　Menace de lave en fusion

　　D'espace, que les saisons

　　En face des murs de prison

　　L'audace qu'on emprisonne

　　Cette énergie qui résonne

　　Un cri qu'on abandonne

　　Unissons nos voix

　　Comme un roc !

　　Ensemble comme un roc !

　　Tous unis comme un roc !

　　Tous tel un bloc

　　Solides comme le roc !

　　Ensemble comme un roc !

　　En ce lieu comme un roc !

　　Boostés à bloc !

　　Solides comme le roc !

　　D'alliés, que les regards

　　Piliers qui portent l'espoir

　　Dévier, que les remparts

　　Dressés au pied de l'histoire

　　Ne lier que notre foi

　　Qui nous pousse à chaque pas

　　Scellée au fond de soi

　　Unissons nos voix

　　Comme un roc !

　　Ensemble comme un roc !

　　Tous unis comme un roc !

　　Tous tel un bloc

　　Solides comme le roc !

　　Ensemble comme un roc !

　　En ce lieu comme un roc !

　　Boostés à bloc !

　　Solides comme le roc !

　　Comme un roc !

　　Tous unis comme un roc !

　　Tous tel un bloc

　　Solides comme le roc !

　　Ensemble comme un roc !

　　En ce lieu comme un roc !

　　Boostés à bloc !

　　Solides comme le roc !

　　Ensemble comme un roc !

　　Tous tel un bloc

　　Solides comme le roc !

　　Solides comme le roc !

　　Comme un roc