11
试验方法的评价
包括两方面： 一、真实性（validity）
真实性是指测量值与实际值的符合程度。 二、可靠性（reliability）
也称重复性（repeatability），指一项试验在相同 的条件重复试验获得相同结果的稳定程度。
12
试验方法评价的结果
被评价 试验结果
阳性 阴性 合计
金标准
有病
灵敏度(Se )
真阳性 真阳性 假阴性 100%
a ac
1 0 0%
灵敏度表示试验方法对疾病的检出能力。灵敏度 越高，说明试验方法对疾病检出能力越强，病人 漏诊机会越少性 真阳性 假阴性
a
c
c
100%
20
2、特异度（specificity，Sp )
➢ 要评价一个试验方法，金标准的选择是非常重要的。一 项诊断试验的准确程度只有在金标准诊断的病人组和非 病人组中进行考核，才能得到正确地评价。
9
研究对象
➢ 在诊断试验方法评价中，研究对象包括两组，一是被金 标准确诊的病例组，另一组是金标准证实无该病的人群， 即对照组 。
➢ 所有的研究对象都要有代表性，病例组和对照组都应代 表各自的总体 。
诊断指标
• 主观指标 • 半客观（或半主观）指标 • 客观指标
1
一、诊断试验研究与评价的理论依据 就大多数诊断指标而言，在正常人中符合正
态分布，在病人中也符合正态分布，但病人 和正常人之间有部分重叠。
如图19-1所示，A、B之间既有病人又有正常 人，A为病人的最低值，B为正常人的最高值。 如果我们把诊断标准定在A上，则有一部分正常 人被判为病人如果把诊断标准定在B上，则有一 部分病人被判作正常人;如果诊断标准定在C上则 既有病人被判作正常人，又有正常人被判作病人。
N
1 pc
15
Kappa值的解释
Kappa值在-1～1之间。 Kappa<0说明由机遇因素所致一致率>观察一致性； Kappa= -1说明两个结果完全不一致； Kappa=0表示观察一致率完全由机遇所致； Kappa>0说明观察一致性大于因机遇所致的一致程度； Kappa=1说明两个结果完全一致； Kappa值越高表示一致性程度越好。一般认为，Kappa值在 0.75～1之间为一致性高；0.4～0.74 为一般；小于0.39以下 为一致性差。
无病
A (真阳性) B (假阳性)
C (假阴性) D (真阴性)
A+C
B+D
合计
A+B C+D
N
13
可靠性的评价
➢ 变异系数
CV 标准差/算术均数
➢ 符合率或一致性
符合率
真阳性 真阴性 受试总人数
a
a b
d c
d
100 %
➢ 调整一致性
调整符合率 1 a d a d 100 % 4ac bd ab cd
16
甲、乙二医生阅读胸部X线片诊断结果
甲医生诊断
乙医生诊断
合计
肺门淋巴结结核 正常
肺门淋巴结结核 正常 合计
46（α） 12（c） 58（c1）
10（b） 56（r1） 32（d） 44（r2） 42（c2） 100（Ｎ）
观察一致率= （46＋32）/100＝78％ 机遇一致率＝[（58×56）/100＋（42×44）/100]/100=51% Kappa=(78%-51%)/(1-51%)=0.55
8
金标准（gold standard）
➢ 金标准是指一种疾病标准诊断方法，是当前医学界公认 的、诊断某病的可靠的诊断方法，应用该标准能较正确 区分某种疾病的人和不具有该病的人。
➢ 常见的金标准有：病理学检查（组织活检和尸体解剖） 诊断肿瘤、外科手术发现结石诊断胆结石、特殊的影像 学诊断如冠状动脉造影诊断冠心病。
17
影响试验可靠性的因素
1．实验方法本身或仪器的差异 2．调查对象的生物学变异 3．观察者的测量变异
18
试验方法真实性的评价
包括两个方面： 1、对有病的识别能力 2、对无病的识别能力
19
真实性评价指标
1、灵敏度（sensitivity, Se)
在真正有病的人中，试验结果阳性的百分率， 即真阳性率。
这就是临床上的漏诊和误诊问题。
2
3
例如，以舒张压为诊断指标在病人与正常人群中 检查。如果将诊断标准定为90mmHg l2kPa)，则有部分本是正常人，但按此标准被判为高 血压病人。亦有部分本是高血压患者但按诊断标准被 判为正常人。即有些人舒张压虽未超过 90mmHg(l2kPa)，但是高血压患者。降低诊断标准， 使正常人被判为高血压的比例增加;提高诊断标准，使 病人被判为正常人的比例增加。
这种分布上的重叠是由于机体的个体差异所造成 的。由于重叠使得临床疾病的诊断较为复杂。也由于 分布的重叠，使得对诊断试验的研究和诊断标准的把 握成为临床工作之必需。
4
5
6
正常人与病人间分布上的重叠是研究诊 断试验的理论依据。对诊断试验研究的目的 在于正确地认识重叠，制定合理的诊断标准， 正确区分正常与异常，做出疾病的准确诊断。
对一种诊断试验的研究与评价包括三方 面内容:确定医学参考值范围（正常值范围）; 对诊断试验进行评价；确定诊断标准。
7
试验方法评价的方法
被评价的方法与与标准方法作同步、盲法试验。 一、确定金标准 二、选择研究对象：病人和非病人 三、样本大小 四、同步试验、盲法(double blind)观察 五、根据试验检查的结果，评价其诊断价值
样本大小
N U2P(1 P)
2
p为试验的预期特异性或灵敏度，为容许误差， 为第一类误差的概率，U值由U界值表可查得。
10
3 ·同步测试 对确定的每个受试对象，用金标准和 被评价的诊断试验同时进行测试。
可以理解，将受试对象用金标准诊断分为病人与 非病人，而用待评价的诊断试验测试，在真正病人中 有的将被判为病人 (阳性)，有的将被判为非病人 (阴 性)，即将其分为两部分。在真正非病人中待评价的诊 断试验也将其判为两部分，病人 (阳性)与非病人 (阴 性) 。
14
Kappa值
表示两种试验的结果的一致性的程度
被评价 试验结果
阳性 阴性 合计
金标准
有病
无病
A (真阳性)
C (假阴性) A+C
B (假阳性)
D (真阴性) B+D
合计
观察一致率：p0
ad n
A+B
机遇一致率：
pc
[(a b)(a c) n
(c d)(b d)] n
n
C+D Kappa p0 pc