当前位置:文档之家› 精密度和正确度方法学评价-赵海舰

精密度和正确度方法学评价-赵海舰

Westgard方 法 EP9
准确度、正确度和精密度?
准确度(accuracy): 一次测量的结果与被测量真值的 接近程度。
正确度(trueness): 真实度,无限多次测量的均值与真 值的接近程度。一般用10-12次测定结果的均值计算
精密度 (PRECISION) : 在规定条件下获得的独立测量 结果之间的接近程度。
适用范围
此文件为用户提供了设计一个评价试验和选择方 法的指南,用于量化患者标本测定方法之间的系 统测量误差(偏倚或差异)。该指南的目的用户为体 外诊断试剂的制造商以及监管机构和临床实验室 人员。
33
CLSI EP9-A3修改及新增内容
回归分析:包括加权、Deming回归和 Passing-Bablok方法(新增)
―特异据性对(s待pe定ci的fi预ci期ty用) 途或应用要求得到满 ―检测足限的和认定定量。限(LOD and LOQ, "灵敏度") ― 线性(linearity)
― 生物参考区间
―耐变性(robustness)
... ...
关于确认(Validation):
ISO 15189:2012 5.5.1.3检验程序的确认: 非标准方法 实验室设计或制定的方法 超出预期范围使用的标准方法 修改过的确认方法
重现性:则是在不同实验室、不同条件下获得的精 密度,故又称实验室间精密度。
实验室内精密度:同一实验室内,使用同样的设备 ,由不同操作者在不同时间内获得的精密度,以前 曾被称为总精密度。
准确度、正确度和精密度?
准确度(ACCURACY) 不确定度(UNCERTAINTY)
正确度 (TRUENESS)
均值与真值的接近程度
系统误差
偏倚(BIAS)
精密度 (PRECISION)
重复测量结果之间的接近程度
随机误差
标准差(SD)/变异系数(CV)
[ISO 5725-1: 1994]
误差 的类型
系统误差
性能 特性
正确度
性能特性的 定量表达
偏倚(bias)
(总)误差
准确度
测量不确定度
随机误差
精密度
标准差 变异系数
样本号
比对方法/仪器
待评方法/仪器
结果1(Xi1 ) 结果2 (Xi2 ) 结果1(Yi1 ) 结果2 (Yi2 )
1 5 … 19 … 40
数据分析
删除超出可报告范围以外的数据
初步数据检查 线性回归 计算预期偏差及其可信区间
40
数据的删除
EP9-A文件规定,不使用超出可 报告范围以外的数据。 删除超出可报告范围以外数据, 再继续数据的处理。
患者样本的数量
• 至少40份 • 覆盖方法的可报告范围
测定次数及时间周期
• 单次/双份 • 至少5天 • 2小时内完成实验方法与比对方法的测定
Westgard确定偏倚的方法
图形显示数据
• 参考方法 • 差值图 • 比对图
计算适当的统计量
• 偏倚 • 相关系数r
• 总误差
可接受性能标准
• 与CLIA允许总误差比
j=2批
Xi2 Xij1-Xij2 (Xij1-Xij2)2
1 0.960 0.950 0.955 0.010 0.0001 0.990 0.980 0.985 0.010 0.0001 0.978
2 0.920 0.930 0.925 -0.010 0.0001 1.010 1.010 1.010 0.000 0.0000 0.968
17
离群值的检查
标准:重复测定的绝对差值超出5.5倍的初步批内 精密度评价的标准差
数量:5% 情况1:如果发现了离群值,需要寻找问题的原因,
并重复该批号样本。 情况2:如果超出了5%的数据被拒绝,同时没有
发现可归属的原因,操作者考虑仪器性能不稳定。
18
精密度确认实验需要计算的统计量
精密度和正确度确认
卫生部临床检验中心 赵海舰 杭州 2015.06.16
如何使检验结果准确?
1
使用好的检验方法
2
做好质量控制
---陈文祥
2
关于确认(Validation):
CNAS-CL38 医学实验室质量
给出主要方法性能:和能力化学认可准则在临床 ―正确度(trueness) 化学检验领域的应用说明 ― 精密is度o1(5p1re8c9is:2io0n1)2定义:通过提供客观证
举例-TG精密度评价
步骤:2个标本每天测定2次,双份测定, 共测定20天。
(两次测定间隔大于8小时时要重新作质控)
离群点的检查:如每次双份测定的差值超过 初步精密度时5.5标准差,该组数据为“离 群点”,应弃去或重做。 使最终收集到的数据不少于80个。
实验结果
天 数 Xij1
j=1批
Xij2 Xi1 Xij1-Xij2 (Xij1-Xij2)2 Xij1 Xij2
数据分析
删除超出可报告范围以外的数据
初步数据检查 线性回归 计算预期偏差及其可信区间
42
初步数据检查过程
方法内双份数据中离群值的检查 数据作图 线性相关的目测检查 方法间离群点的检查 X值合适范围的检查
方法内离群值的检查过程
计算绝对差值 DXi=︱Xi1-Xi2︱

离群点判断规则

方法内离群值的检查结果-表2
偏差图:y轴表示测量结果与参考浓度之间的 差值,x轴表示参考浓度
注1:若差值为0则画一条虚线 注2:参考浓度通常为测量结果的均值 注3:差值是相对于参考浓度而言的
用于表示方法比对的结果,x轴表示的是被测 物的浓度,y轴表示候选方法与参比方法之间 的差值

数据作图-偏倚图
当比对方法X为参考方法
评价 标准
卫生行业标准 室间质量评价1/3TEa 依据生物学制定 方法决定图
EP5-A2 注意事项
样本的稳定性 校准物的正确保存 试剂的正确保存、使用 仪器的正常维护 离群值
29
Westgard确定偏倚的方法
可比较实验方法
• 参考方法 • 决定性方法 • 配套系统的常规方法
3 0.986 1.014 1.000 -0.028 0.000784 1.010 0.960 0.985 0.05 0.0025 0.992
……
18 0.948 0.920 0.934 0.028 0.000784 0.955 0.937 0.946 0.018 0.000324 0.940
19 0.908 0.936 0.922 -0.028 0.000784 0.890 0.917 0.904 -0.027 0.000729 0.913
20 0.889 0.944 0.917 -0.055 0.003025 0.901 0.920 0.910 -0.019 0.000361 0.914
结果计算
1.批内不精密度
I=总试验天数(一般为20天) J=每天测定的批次(一般为2批) Xij1=第i天j批实验第一次结果
24
2. 批间不精密度
Westgard验证偏倚的方法
如果厂家的声明
• T检验
没有偏倚
• 计算的t值与临界t值
比较
如果厂家的声明 • 确定实验室估计偏倚的置信区间
有偏倚
• 看厂家声明是否在置信区间内 • 公式=实验室的偏倚±t.SD/N1/2
用患者样本进行方法对比及偏倚评估
EP9-3A: Methods Comparison and Bias Estimation Using Patient Samples; Approved Guideline, Third Edition
描述了方法比对的结果,x轴对应的是参比方 法的结果,y轴对应的是候选方法的结果。
数据作图-散点图
全部结果的散点图:Yij → Xi
数据作图-散点图(图1)
SD恒定的散点图
数据作图—散点图(图2)
CV恒定的散点图
数据作图—散点图(图3)
混合的差异变异 (标准差SD和变异系数CV)
数据作图—偏差图
待评方法/仪器
比对方法/仪器
样本号
绝对 (DYi )
均值 标准化 (Yi) (DY i’ )
绝对 (DXi )
均值 标准化 (Xi) (DX i’ )
1
5

19

40
均值
数据作图-散点图
散点图:在直角坐标系中表示一组数据的两 个变量。
注1:数据用观测点表示,每个点在x轴对应的 位置为一个变量的值,在y轴上对应的位置为 另一个变量的值。
I=试验天数 Xi1=第i天第一批实验结果的平均值(通常重复2次) Xi2=第I天第二批实验结果的平均值(通常重复2次)
25
3.日间不精密度
I = 实验天数
x =第i天全部实验结果的平均值 i =所有结果的平均值
26
4.总不精密度
27
举例-TG精密度评价结果
批内CV为2.23% 批间CV为2.46% 日间CV为3.48% 总CV为4.19%
关于确认(Validation):
卫生行业标准:WS/T 420-2013
(临床实验室对商品定量试剂盒分析性能的验证)
临床实验室建立的新方法或试剂盒 对我国食品药品监督管理局(FDA)批 准的检验方法或试剂盒进行重要修改
与精密度和正确度相关的确认文件
精密度
Westgard方 法 EP5
正确度

B A
数据记录表格
天 第一批(上午)
第二批(下午)
数 (I) Xi11 Xi12 Xi1 Xi11-
Xi12
相关主题