基于秩次的非参数检验1. 问题的提出前面学习了连续型资料两组样本均数差异的假设检验方法:小样本用t检验,条件是变量服从正态分布和方差齐;大样本用标准正态分布的Z检验。
如果是小样本,变量的分布不清,或者已知不服从正态分布或经变量转换后仍不服从正态分布时,如何检验两个样本或多个样本均数差异的统计学意义呢?需要一种不依赖于分布假定的检验方法,即非参数检验。
2. 基本概念前面介绍的检验方法首先假定分析变量服从特定的已知分布(如正态分布),然后对分布参数(如均数)作检验。
这类检验方法称参数检验(parametric test)。
今天介绍的检验方法不对变量的分布作严格假定,检验不针对特定的参数,而是模糊地对变量的中心位置或分布位置作比较。
这类检验称非参数检验(nonparametric test),由于其对总体分布不作严格假定,所以又称任意分布检验。
(distribution-free test)非参数检验的优点:a.不受总体分布的限制,适用范围广。
b.适宜定量模糊的变量和等级变量。
c.方法简便易学。
缺点:如果是精确测量的变量,并且已知服从或者经变量转换后服从某个特定分布(如正态分布),这时人为地将精确测量值变成顺序的秩,将丢失部分信息,造成检验功效能下降。
基于秩次非参数检验(秩和检验)的基本思想假设变量X有观察值1.1, 1.3, 1.7, 4.3, 11.4显然这变量不服从正态分布,观察值间差异较大,既不对称,标准差也较大。
但如果将变量作转换,变成秩变量Y=1,2,3, 4,5,则分布对称了,观察值间的差异也均匀了,标准差也减小了。
然后对这秩分布的中心位置(中位数)作检验,这就是秩和检验。
7.1 配对样本的符号秩检验(Wilcoxon signed rank test)例7.1为研究出生先后的孪生兄弟间智力是否存在差异,12对孪生兄弟测试的结果见表7.3。
表7.3 12对孪生兄弟测试结果T+=24.5,T-=41.5符号秩检验的分布理论:假定有4个差值,如果H0成立时,这4个差值有同等的概率取正值或负值,即每个值取正值的概率等于1/2。
4个差值每种组合发生的可能性就是:0625.021212121=⨯⨯⨯=P 。
所有可能的秩和情况和T *的分布见表7.1。
表7.1 n =4时所有可能秩和情况和T *的分布正差数 的秩次 负差值 的秩次 正秩和 T + 负秩和 T - 检验统计量T *概率P 1,2,3,4 -- 10 0 0 0.0625 2,3,4 1 9 1 1 0.0625 1,3,4 2 8 2 2 0.0625 1,2,4 3 7 3 30.12503,4 1,2 7 3 31,2,3 4 6 4 4 0.12502,4 1,3 6 4 4 1,4 2,3 5 5 50.12502,3 1,4 5 5 51,3 2,4 4 6 4 0.12504 1,2,3 4 6 41,2 3,4 3 7 3 0.12503 1,2,4 3 7 32 1,3,4 2 8 2 0.06251 2,3,4 1 9 1 0.0625- 1,2,3,4 0 10 0 0.0625如果零假设成立,观察的结果应该服从这分布,即出现极端的可能性很小。
如果真是出现小概率,那么我们对零假设的真实性产生怀疑,拒绝零假设。
表 7.2 Wilcoxon符号秩检验的判断原则双侧检验单侧检验(1) 单侧检验(2) 检验假设H0:Md(d)=0 H0:Md(d)=0 H0:Md(d)=0 H1:Md(d)≠0 H1:Md(d)>0 H1:Md(d)<0 统计决策:小样本查表法若T*≤Tα/2(n),则拒绝H0若T-≤Tα(n),则拒绝H0若T+≤Tα(n),则拒绝H0大样本正态近似法若│Z│>Zα/2 ,则拒绝H0若│Z│>Zα ,则拒绝H0若│Z│>Zα,则拒绝H0当研究例数较大时(n>50),秩和T的分布近似正态分布,可以用正态分布理论作假设检验。
这时正态分布的均数和标准差分别等于:μT=n(n+1)/424/)12)(1(++=n n n T σ检验的公式为:24/)12)(1(5.04/)1(5.0**++-+-=--=n n n n n Z T T TT σμ具体计算步骤:a. 建立检验假设:H 0: 中位数为零; H 1:中位数不等于零;α=0.05b. 编秩、计算秩和:差数为零不参加编秩,相同差值求平均秩。
分别求正号和负号的秩和,取绝对值小的为T 。
c. 确定概率:查附表10,在n=11时,T 0.05=11。
现24.5>11,故p>0.05。
7.2 两独立样本的秩和检验(Wilcoxon rank sum test)例7.2 在缺氧条件下,观察4只猫与12只兔的生存时间(分),结果见表7.5。
试判断猫、兔在缺氧条件下生存时间的差异是否具有统计学意义。
这是生存时间资料,一般不服从正态分布,样本也较小,需考虑用非参数检验---秩和检验。
秩和检验的基本思想:两组观察值共有n例,设例数较少的组有n1例,按观察值大小顺序分别编秩为1,2,…,n。
如果零假设成立,观察的结果有较大的可能出现分布在中间的结果。
如果极端的结果出现,则可能零假设不成立,我们就拒绝零假设。
表7.5 缺氧条件下猫与兔的生存时间(分)比较当样本较大时,秩和的分布近似正态分布,可以用正态分布理论作假设检验。
这时正态分布的均数和标准差分别等于:μT*=n 1(n +1)/2⎥⎥⎦⎤⎢⎢⎣⎡---+=∑*n n t t n n n k k T 33222)(112)1(σ检验公式为:21*5.0|2/)1(|*-+-=T n n T Z σ 具体计算步骤: a. 建立检验假设:H 0:Md 1=Md 2,即两总体分布位置相同;H 1:Md 1≠Md 2,即两总体分布位置不同;α=0.05b. 编秩和计算秩和:两组混合编秩,有相同值求平均秩(仅有同组相同值可忽略)。
当n1<n2时,取较小样本的秩和为检验统计量T*=R1;当n1=n2时,取秩和较小者为检验统计量T*=min(R1,R2)。
本例求例数较少组的秩和T*=78.5。
c.确定概率:T值在表中两数字值之间时,p值大于相应界值,反之则小于。
n1=5,n2=14,n2-n1=9,查附表11,T L0.01=22,T U0.01=78,T*>T U0.01,P<0.01,故拒绝H0,可认为猫、兔在缺氧条件下的生存时间的中位数不相等。
7.3 多个样本分布位置相同的假设检验1.完全随机化设计资料分布位置的假设检验(Kruskal- Wallis test)表7.7 不同吸烟习惯母亲的新生儿体重(kg)出生体重x ij相应秩次r ijA B C D A B C D2.7 2.93.3 3.5 3 4 7 112.43.2 3.6 3.6 2 5.5 12.5 12.52.23.2 3.4 3.7 1 5.5 9 143.4 3.4 9 9n i 4 3 4 3R i15 15 37.5 37.5计算步骤:a. 建立检验假设: H0:k个总体中位数相等;H1:k个总体中位数不等;α=0.05。
b. 计算统计量:各组混合编秩。
如不同组间出现相同值,求平均秩。
计算各组的秩和。
如果H 0:成立,第i 组秩和的期望(总体均数)Ri μ与方差2Ri σ分别为:2)1(+=n n i R iμ 12)1)((2+-=n n n n i i Riσ 在此基础上建立检验统计量:[][]∑∑==+-+-=-=ki i i i i ki RiRi i n n n n n n R R H 1212212/)1)((2/)1(σμ当H 0成立时,该检验统计量近似服从自由度为(k-1)的χ2分布。
为简化运算,由上式推导出如下公式:)1(3)()1(1212--+=∑=n n R n n H k i ii375.9)114(3)35.3745.37315415()114(14122222=+-++++=H校正:)()(1313n n t t HH mp p pC ---=∑=5018.91414)]22()33()22[(1375.93333=--+-+--=C H c. 确定概率和判断结果:自由度(df)=4-1=3,查χ2值表得χ20.05(3) =7.815,p<0.05,故拒绝零假设,说明不同吸烟习惯对新生儿体重有影响。
2.随机化区组设计资料分布位置的假设检验(Friedman test)与配对设计的思想一样,为控制某些因素对试验效应的混杂影响,可以在设计时,将试验对象配成组,再随机地分配处理因素给每组中的各个对象,这种设计称随机化区组设计。
对于随机化区组设计资料,考虑k个处理组的分布差异时,可采用由M. Friedman在符号检验基础上扩展的秩和检验,称为Friedman检验(Friedman test)。
令x ij为第i区组(i=1,2....b)、第j处理组(j=1,2....k)的个体观察值,数据按区组(b行)与处理组(k列)排列如表7.8。
表7.8 随机化区组设计的资料格式区组处理组1 2 ... k1 x11x12... x1k2 x21x22... x2k┆┆┆┆┆b x b1x b2... x bk其检验假设为H0:k个处理组效应的中位数相等;H1:k个处理组效应的中位数不全相等。
进行Friedman检验时,首先在每区组(行)内将观察值按其数值由小到大排秩,然后再按处理组(列)求秩和,最后产生一个综合区组内差异的检验统计量。
令r ij为第i区组、第j处理组观察值x ij所对应的秩次,因为每一区组(行)内有k个从1到k的整数秩,所以任何区组(行)的秩和为2)1( 1+=∑=k kr kjij令R j为第j处理组的秩和,即R j=∑=kjijr1,故总秩和为2)1( 1+=∑=k bkRkji当H0成立时,第j列秩和的期望与方差分别为2)1(+=k b Riμ, 12)1(22-=k b Rj σ 大样本时,统计量 2RjRjj j R Z σμ-=~ N(0,1)取其加权和,[]∑∑==++-=⎪⎭⎫ ⎝⎛-=kj j j kj k kb k b R Z k k 1221212/)1(2/)1(1χ 近似服从自由度为(k-1)的2χ分布,通过与2χ分布界值的比较便可作出判定。
与K-W 检验统计量的情况相似,可导出计算式)1(3)1(12122+-+=∑=k b R k bk k j j χ 例7.4 三批甘蓝叶样本分别在甲、乙、丙、丁四种条件下测量核黄素浓度,试验结果如表7.9所示。
问四种条件下的测量结果的差异是否具有统计学意义?表7.9 甘蓝叶核黄素浓度测量值(g μ/g)批次 测量条件 甲 乙 丙 丁1 27.2(2) 24.6(1) 39.5(4) 38.6(3)2 23.2(1) 24.2(2) 43.1(4) 39.5(3)3 24.8(2) 22.2(1) 45.2(4) 33.0(3) R j 54 12 9解 (1) 建立检验假设H 0:四种测量条件下的测量结果的中位数相等; H 1:四种测量条件下的测量结果的中位数不全相等。