诊断试验评价与ROC分析方法第一节概述诊断试验包括各种实验室检查诊断、影像诊断和仪器诊断（如X线、超声波、CT扫描、磁共振及纤维内镜等），各种方法的诊断价值如何，必须通过诊断试验确定。

传统诊断试验）、符合率（E）等，这些评价指标为广大的医评价方法有灵敏度（TP）、特异度（1FP学研究工作者所使用，但是为了使用这些指标必须将诊断试验分成“阴性”和“阳性”两种结果，由于这些指标与所选择的诊断标准或阈值有关，评级结果可能出现不一致性情况。

Harris 曾对某文献中的7篇诊断试验的文章进行了分析，发现其中有5篇得到的灵敏度和特异度是明显可以变化的，如果改变分类准则会是另一评价结果，这很容易引导研究人员做出有利于自己的选择。

另一个问题是，从临床决策观点看，无论对何种疾病的诊断，最终应当做出“是”或“非”的回答，但实际中只有很少的情况能够给出明确的诊断，多数情况只能根据检查的结果做出一个不确定的判断，如“正常、大致正常、可疑、非常可疑、异常”，一种新的诊断技术的产生尤为如此。

如果在评价时按照实验样本归为两类或丢弃中间状态的数据，很容易夸大诊断试验的结果。

在实际工作中有相当一些诊断技术由于缺乏准确的评价，在一开始出现时往往过分夸大其作用即与此有关。

ROC分析方法则可以更客观的对诊断试验做出评价。

一、诊断试验的ROC分析方法ROC曲线即受试者工作特征曲线（Receiver operating characteristic curve），ROC曲线及其分析已统计决策理论为基础，起源于电子信号观测理论、用于雷达信号接受能力的评价，目前已经应用于许多医学、非医学领域，如人类感知和决策研究、工业质量控制、军事监控等。

ROC曲线从二十世纪八十年代起广泛应用于医学诊断试验的评价。

美国生物统计百科全书中关于ROC曲线的定义是：“对于存在或可能存在混淆的两种条件或自然状态，需要受试者、专业诊断学工作者以及预测工作者做出精确判断，或者准确决策的一种定量方法。

”在诊断试验的评价研究中，它是以每一个检测结果作为可能的诊断界值（cut-off point），计算得到相应的真阳性率（TP）和假阳性率（FP），以假阳性率（即1-特异度）为横坐标，以真阳性率（即灵敏度）为纵坐标绘制而成的曲线，ROC曲线可从直观上表明诊断试验的准确度。

在医学影像诊断实验研究中，一个突出的问题表现在一些病例难以确定，另一个问题是对不同的医院或不同的观察者（医生），采用的诊断标准可能不一致，如何进行相互间比较，怎样把从不同观察者得到的数据结合起来分析，使分析结果具有较好的一致性。

从本质上讲，一个诊断或预后系统的优劣，不应该取决于观察者在操作过程中对“诊断标准”的把握情况，而在与决策变量对疾病的区分能力。

ROC分析是一种把灵敏度（TP）和特异度（1-FP）结合起来综合评价诊断准确度的一种方法。

其基本思想是不固定诊断标准（阈值），把灵敏度和特异度看作一个连续变化的过程，用ROC曲线描述诊断系统的特性，用曲线下面积说明诊断的准确度。

ROC分析有两个基本的特点： 允许诊断结果在“阴性”和“阳性”之间的中间状态； ROC分析结果与诊断标准无关。

前一特点使诊断试验应用范围拓宽，并且能够保持信息的完整性；后一特点则能保持诊断试验评价结果的一致性。

事实上，实际中只有少数的临床诊断结果具有明确的分类界限，如一个生化检测可能是一个数量化的结果，选择不同的分界点，将会有不同的灵敏度和特异度；当一个诊断结果主要有主观判断（如影像诊断），可以认为医生的诊断结果是通过对潜在的连续变量分组后做出的判断。

无论上面那一种情况，分类阈值的选择对ROC曲线都无影响。

从应用角度看，ROC分析最大的特点在于可以暂时回避诊断标准的选择问题，并且能够较好的保持信息的准确和完整。

理论上，当诊断试验完全无诊断价值即完全凭机会区分患者和非患者时，ROC曲线是一条由原点到右上角的对角线，这条线称为机会线（chance line），有时也称为参照线（reference line），如果获得的ROC曲线落在这条机会线上，其曲线下面积为0.5；理想的诊断试验ROC 曲线是从原点垂直上升至左上角，然后水平到达右上角，其曲线下面积为1，该ROC 曲线对应的诊断试验可完全把患者判为阳性、把非患者判为阴性。

但实际上这样的诊断试验极少或不存在，诊断试验的ROC 曲线一般会位于机会线的上方，离机会线越远说明诊断准确度越高。

ROC 曲线下面积实际的取值范围为0.51，而一般认为对于一个诊断试验，ROC 曲线下面积在0.50.7之间时诊断价值较低，在0.70.9之间时诊断价值中等，在0.9以上时诊断价值较高。

二、 ROC 曲线下面积的估计ROC 曲线下面积估计的方法有参数法和非参数法，均适用于结果为连续性资料或有序资料的诊断试验准确度的评价，但计算均比较复杂，大多需要借助统计软件实现。

（1）ROC 曲线下面积估计的非参数法非参数法是根据诊断试验的检测结果直接计算绘制ROC 曲线所需的工作点（真阳性率，假阳性率），由此绘制的ROC 曲线称为经验ROC 曲线，其曲线下的面积可由梯形规则计算得到；Bamber 于1975年发现：经验ROC 曲线下面积等价于患者组和非患者组实验结果秩和检验的Wilcoxon Mann-Whitney 检验统计量，因而可由Wilcoxon Mann-Whitney 统计量估计曲线下面积的大小。

如果用A Y 和N Y 分别表示患病组和非患病组的诊断变量，A y 和N y 表示各自的取值，假定检测值较大为异常，曲线下面积θ的估计值可以利用下式计算：111(,)NA n n A N N A S y y n n θ=∑∑（1-1）其中：1,(,)1/2,0,A N A N A N A N y y S y y y y y y>⎧⎪==⎨⎪<⎩（1-2）A n 和N n 为患病组和非患病组的检测例数。

其含义是将患病组的所有检测值分别与正常组所有的检测值比较，如果A N y y >得分为1，如果相等得分为0.5，否则不得分，然后计算平均得分即为θ。

可以看出，ROC 曲线下的真实面积θ是患病组检测值大于正常组检测值的概率，即()A N P Y Y θ=>。

ROC 曲线下面积还有另一种解释，即在各种不同诊断特异度下的平均灵敏度。

θ的方差估计可以使用Delong 方法计算：2211()A N Y Y A NVar S S n n θ=+（1-3） 其中：2211[()]1A A n Y Aj j A S V Y n θ==--∑，2211[()]1N N n Y Nj j N S V Y n θ==--∑11()(,)Nn Ai Ai Nj j NV Y S y y n ==∑，11()(,)An Nj Ai Nj i A V Y S y y n ==∑ 对两种诊断方式进行比较时，检验公式为：u =（1-4）式中1()Var θ和2()Var θ为两样本ROC 曲线下面积的方差；12(,)Cov θθ为两样本面积估计的协方差，也可以用Delong 给出的非参数方法计算得到。

在独立试验样本情况下，12(,)0Cov θθ=（2）ROC 曲线下面积估计的参数法曲线下面积估计的参数法常常是通过拟合某种统计学模型来实现的，有学者检查了ROC 曲线与各种基本分布如幂、二项式、Poisson 分布、卡方分布和伽玛分布等，发现ROC 曲线非常逼近双正态模型所产生的曲线，因此拟合双正态模型是目前ROC 曲线分析中最常使用的方法。

该法假设患者和非患者的实验结果均符合正态分布，根据实验结果拟合双正态模型（binormal distribution model ），由模型拟合的ROC 曲线称为拟合ROC 曲线或称为光滑ROC 曲线，该曲线可用两个参数表示，一个参数用a 表示，是患者组与非患者组实验结果的标准化均数之差；另一个参数可用均数b 表示，是非患者组与患者组实验结果的标准差之比，两个参数可由下式估计得到：A NAy y a s -=N A s b s = （1-5）其中A y 、N y 分别是患者组和非患者组检测结果的均数，A s 、N s 分别是患者组和非患者组检测结果的标准差。

由两个参数可得到绘制光滑ROC 曲线所需的工作点及曲线下面积的估计值。

曲线下面积可由下式估计得到：θ=Φ （1-6）Φ为标准正态分布函数。

因为患者组和非患者组的检测结果经常不符合双正态分布的条件，一般需经过正态变换，所以双正态模型的两个参数一般不宜直接计算得到，可由最大似然估计法得到。

参数法的应用条件为：患者与非患者的实验结果均服从正态分布，但这是指ROC 曲线的函数形式，而不是指检验结果的基本分布，因为变量变换几乎可使任何实验结果转换为双正态分布，而且实际上，当检测结果为有序资料时，数据仅有几个值或几个分类，对这类数据可拟合许多不同的分布。

Hajian-Tilaki 等发现，即使数据不服从双正态时，参数与非参数法估计的ROC 曲线下面积及其方差也十分类似，这一结果提示，不必过分要求数据服从双正态，可根据应用的方便性与实用性来选择方法。

参数法估计ROC 曲线下面积的缺点是在极少数情况下，估计的ROC 曲线下面积可能会出现位于机会线下的情况，或者当资料远远偏离其应用条件时，估计的结果可能会严重偏离其真实值。

在样本量较大且想通知较少时，参数法和非参数法估计的ROC 曲线下面积常常近似相等。

三、ROC分析方法研究进展简述作为临床诊断数据评价的一种有效技术，ROC分析已经逐渐为医学研究人员所认可，并引起了更多统计专业人员的注意，把现代发展起来的一些多元统计方法引入ROC分析，使之在理论上有了更稳固的基础，应用范围不断扩大。

虽然ROC分析技术在20世纪50年代就提出，但真正在医学诊断领域应用则在80年代；1989年Hanley给出一个综合性的报告，引起更多的统计专业人员注意则是在90年代；2002年周晓华等出版了《Statistical Methods in Diagnostic Medicine》专著，其中对大量地文献做了综述，内容十分丰富。

下面简要叙述诊断试验ROC分析的有关内容。

ROC分析有参数和非参数两类方法，最具代表性的参数方法是采用双正态模型作ROC 分析，对于连续和有序测量数据，参数法的优点是可以获得ROC曲线方程，得到曲线下的全面积和部分面积，面积的估计值是无偏的，但对连续测量的数据分布有一定要求。

典型的非参数法是Wilcoxon方法，它适合任何类型分布的数据，但无法直接对有协变量的情况进行分析和处理。

由于实际中可能有协变量对诊断试验产生影响，如对某种疾病检测方法进行鉴定，各年龄组检测对象的诊断标准不尽相同，其诊断的准确度也可能存在差异，关键的问题是对协变量的影响大小做出判断，并将其影响在诊断试验评价中给予考虑，对此可以采用回归模型的方法。