当前位置:文档之家› 试验数据异常值的检验及剔除方法

试验数据异常值的检验及剔除方法

目录 摘要 ...................................................................................................................................................... I

关键词 ................................................................................................................................................ I

1 引言 .............................................................................................................................................. 1

2 异常值的判别方法 ............................................................................................................. 1

2.1 检验(3S)准则 ................................................................................................................ 1

2.2 狄克松(Dixon)准则 .................................................................................................... 2

2.3 格拉布斯(Grubbs)准则 ............................................................................................. 2

2.4 指数分布时异常值检验.................................................................................................. 3

2.5 莱茵达准则(PanTa) .................................................................................................... 3

2.6 肖维勒准则(Chauvenet) .......................................................................................... 4

3 实验异常数据的处理 ....................................................................................................... 4

4 结束语 ......................................................................................................................................... 6

参考文献 ........................................................................................................................................... 6 内江师范学院本科学年论文

I 试验数据异常值的检验及剔除方法 摘要:在实验中不可避免会存在一些异常数据,而异常数据的存在会

掩盖研究对象的变化规律和对分析结果产生重要的影响,异常值的检验与正确处理是保证原始数据可靠性、平均值与标准差计算准确性的前提.本文简述判别测量值异常的几种统计学方法,并利用DPS软件检验及剔除实验数据中异常值,此方法简单、直观、快捷,适合实验者用于实验的数据处理和分析.

关键词:异常值检验;异常值剔除;DPS;测量数据 内江师范学院本科学年论文

1 1 引言 在实验中,由于测量产生误差,从而导致个别数据出现异常,往往导致结果产生较大的误差,即出现数据的异常.而异常数据的出现会掩盖实验数据的变化规律,以致使研究对象变化规律异常,得出错误结论.因此,正确分析并剔除异常值有助于提高实验精度. 判别实验数据中异常值的步骤是先要检验和分析原始数据的记录、操作方法、实验条件等过程,找出异常值出现的原因并予以剔除. 利用计算机剔除异常值的方法许多专家做了详细的文献[1]报告.如王鑫,吴先球,用Origin剔除线形拟合中实验数据的异常值;严昌顺.用计算机快速剔除含粗大误差的“环值”;运用了统计学中各种判别异常值的准则,各种准则的优劣程度将体现在下文.

2 异常值的判别方法 判别异常值的准则很多,常用的有t检验(3S)准则、狄克松(Dixon)准则、格拉布斯(Grubbs)准则等准则.下面将一一简要介绍. 2.1 检验(3S)准则 t检验准则又称罗曼诺夫斯基准则,它是按t分布的实际误差分布范围来判别

异常值,对重复测量次数较少的情况比较合理. 基本思想:首先剔除一个可疑值,然后安t分布来检验被剔除的值是否为异常值. 设样本数据为123,,nxxxx,若认jx为可疑值.计算余下1n个数据平均值

1nx及标准差1ns,即21111,1,11,()12nnnininiijiijxxsxxnn. 内江师范学院本科学年论文 2 然后,按t分布来判别被剔除的值jx是否为异常值.

若1(,)njxxkna,则jx为异常值,应予剔除,否则为正常值,应予以保

留.其中:a为显著水平;n数据个数;(,)kna为检验系数,可通过查表得到.

2.2 狄克松(Dixon)准则 设有一组测量数据123nxxxx,且为正态分布,则可能为异常值的测

量数据必然出现在两端,即1x或nx.

狄克松给出了不同样本数量n时检验统计量的计算公式(见表1).当显著水平a为1%或5%时,狄克松给出了其临界值1()anD.如果测量数据的检验统计量

1()anDD,则1x为异常值,如果测量数据的检验统计量'1()anDD,则nx为异

常值. 表1 狄克松检验统计量计算公式为

数据个数n 统计量D

1x为可疑值D nx为可疑值'D

37n 211()/()nxxxx 11()/()nnnxxxx

810n 2111()/()nxxxx 12()/()nnnxxxx

1113n 3111()/()nxxxx 22()/()nnnxxxx

1430n 3121()/()nxxxx 23()/()nnnxxxx

2.3 格拉布斯(Grubbs)准则 设有一组测量数据为正态分布,为了检验数据中是否存在异常值,将其按

大小顺序排列,即123nxxxx,可能为异常值的测量数据一定出现在最大

或最小的数据中. 内江师范学院本科学年论文 3 若最小值1x是可疑的,则检验统计量1()/Gxxs.式中x是均值、s是标准

差,即2

1111,()1nniiiixxsxxnn

.

对于检验统计量G,格拉布斯导出了其统计分布,并给出了当显著水平a为1%或5%时的临界值(1)()nGn.(1)()nGn

称格拉布斯系数,可通过抽查表得到.当最

小值1x或最大值nx对应的检验统计量G大于临界值时,则认为与之对应的1x或

nx为可疑异常值,应予以剔除. 2.4 指数分布时异常值检验 设一组测量数据为指数分布,为了检验数据中是否存在异常值,将其按大

小顺序排列,即123nxxxx.检验最小值或最大值是否为异常值的检验方法

如下:

当样本量100n时,计算统计量()1/nnnniiTxx及(1)11/nniiTxx



对于给定的显著水平a(通常取0.5)和样本数量n,通过查表得到()nnT及(1)nT

分别对应的临界值()(1)nnTa和(1)()nTa.若()()(1)nnnnTTa时,认为nx为异常值;

若(1)(1)()nnTTa时,认为1x为异常值.

当样本容量100n时,计算统计量()111(1)()/()nnnnniniEnxxxx及

(1)111(1)/()nniiEnnxxnx

.

对于给定显著水平a和样本数量n,若11()2,2~2,1(1)(1)nnnnaEFna,则

判断nx为异常值;若11(1)2,22,(1)[(1)1]nnnaEFna,则判断1x为异常值.

2.5 莱茵达准则(PanTa)

对于实验数据测出值123,,,,nxxxx,求取其算术平均值11/niixnx及剩余

误差值iivxx,然后求出其均方根偏差21/2(/1)ivn.

相关主题