当前位置:
文档之家› 第二十七课符号检验和Wilcoxon符号秩检验
第二十七课符号检验和Wilcoxon符号秩检验
0.0898 0.2120 0.3953 0.6047 0.7880 0.9102 0.9713 0.9935 0.9991 0.9999 1.0000
从表 27.2 的累计概率列中我们看到, 正号出现的次数大于 10 的概率为 1-0.9713=0.0287, 或者换一种方法计算为=0.0001+0.0009+0.0056+0.0222=0.0287, 二者的微小差异是因为小数点 后舍入问题造成的。而试验的结果:正号出现的次数为 11,大于 10,出现的概率不会超过 0.0287,我们开始设定的显著性水平为 0.1,由于 0.0287<0.1,所以我们拒绝原假设,接受备 选假设。如果我们的原假设为 p =0.5,既训练前后学生素质相等,那么就是双侧检验,应该 加上正号出现的次数小于 4 的概率 0.0287,即 2×0.0287=0.0574<0.1,同样是拒绝原假设,接 受区间为 4 次到 10 次,而拒绝区间为小于等于 3 次(小于 4 次)或大于等于 11 次(大于 10 次) 。 2. 大样本时的正态近似概率计算 当 n 20 时,样本可以认为是大样本。我们可以利用二项分布的正态近似,即对于
由于试验的结果只有两种可能,正号或负号,对每一个学生试验出现正号的假定概率为 p =0.5,负号为 1— p =0.5,这样整个试验的概率是相同的,并且每一个试验是相互独立的。 因此在 n =14 次独立的试验中,正号出现的次数服从二项分布 B(14,0.5) ,见表 27.2 所示。 表 27.2 二项分布的概率和累计概率 n=14,p=0.5 正号出现的次数 0 1 2 3
上海财经大学经济信息管理系IS/SHUFE Page 4 of 8
S T
n(n 1) 4
(27.3)
显然如果原假设为真,T 与 T 应该有相同的值,等于 n(n+1)/4,因此太大的 S 值或太小的 S 值都是我们拒绝的依据。在实际工作中便于计算常取 W=min( T , T ) , W 服从所谓的 Wilcoxon 符号秩分布,对于本例 n =10, S 49.5-10(10+1)/4=22,W= min(49.5,5.5)=5.5,查 表可得在显著水平 0.05, n =10 的双侧检验的临界值为 8,即 W 值的拒绝区域为 0 到 8, 接受区域为 8 到 27.5。由于 5.5<8,我们拒绝原假设。 对于 n >20,当原假设为真时,统计量 T = T - T 接近于 0,统计量 T 的方差为
2 T ( Ri 0) 2 i 1 n
z
S 0.5n 0.5 n
~ N (0,1)
(27.2)
当 S > n / 2 时,应该修正 S 为 S -0.5;当 S < n / 2 时,应该修正 S 为 S +0.5。 S 值加或减的 0.5 是连续性修正因子,目的是为了能将连续分布应用到近似的离散型分布。
二、 配对资料的 Wilcoxon 符号秩检验
上海财经大学经济信息管理系IS/SHUFE Page 1 of 8
的概率 p 0.5 ,对于太大的 S 相应太小的 S ,将拒绝接受原假设。 例 27.1 有一种提高学生某种素质的训练,有人说它是无效的,有人说它是有效的,那么 真实情况究竟应该是怎样的呢?随机地选取 15 名学生作为试验样本, 在训练开始前做了一次 测验,每个学生的素质按优、良、中、及、差打分,经过三个月训练后,再做一次测试对每 个学生打分。数据见表 27.1 所示。我们将素质提高用正号表示,反之用负号表示,没有变化 用 0 表示。显著性水平取 0.1。 表 27.1 训练前后的素质比较 学生编号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 训练之前 中 及 良 差 良 中 差 良 中 差 中 及 中 中 差 训练之后 优 良 中 中 良 优 及 优 差 中 优 良 及 优 中 差异符号 + + - + 0 + + + - + + + - + +
当两组配对资料近似服从正态分布,它们差值的检验可以使用配对 t 检验法。如果配对 资料的正态分布的假设不能成立,就可以使用 Frank Wilcoxon(1945)符号秩检验,它是一 种非参数检验方法,对配对资料的差值采用符号秩方法来检验。它的基本要求是差值数据设 置为最小的序列等级和两组配对资料是相关的(配成对) 。在两组配对资料的差异有具体数值 的情况下,符号检验只利用大于 0 和小于 0 的信息,即正号和负号的信息,而对差异大小所
S ~ B(n, p) , 二项分布的期望均值为 np , 方差为 np(1 p) , 当 n 比较大时, 且 np 和 n(1 p)
大于 5,可以近似地认为
z
S np np(1 p)
~ N (0,1)
(27.1)
公式中的 S 表示正号或者负号的个数,符号检验时, p =0.5 代入(27.1)式中,得到大样本 时的正态近似统计量
从表 27.1 中 15 名学生训练前后的差异分析可得出:有 14 名学生有差异,其中 S =11,
S =3。1 名学生无差异(学生编号为 5) ,应该从分析中去掉,所以 n =15-1=14。假设检验
为:
H 0 : p 0.5 即训练之后学生素质没有提高。
H 1 : p 0.5 即训练之后学生素质有提高。
符号秩次总和 T =5.5, T =49.5 为了比较两种方法的任务完成时间是否有显著差异,假设检验为:
H 0 : 任务完成时间的两个总体是相同的。
H 1 : 任务完成时间的两个总体是不相同的。
使用 Wilcoxon 符号秩检验方法的主要步骤见表 27.3 中每列的计算方法和过程, 先求出每 对数据的差值 D,按差值绝对值|D|由小到大排列并给秩 R,从秩 1 开始到秩 10,注意工人编 号为 8 的配对数据,由于差值为 0,在排秩中丢弃,样本数目修正为 n =11-1=10。在给秩值 时,遇到相等|D|,也称为结值(tied) ,使用平均秩,如工人编号 3 和 5 具有相同的绝对差值 0.4,所以平分秩 3 和秩 4,各为秩 3.5。一旦绝对差值的秩值 R 给出后,然后将 R 分成正和 负差值的两个部分秩值 R 和 R ,最后求符号秩和 T
一、 单样本的符号检验
符号检验(sign test)是一种最简单的非参数检验方法。它是根据正、负号的个数来假设 检验。首先需要将原始观察值按设定的规则,转换成正、负号,然后计数正、负号的个数作 出检验。该检验可用于样本中位数和总体中位数的比较,数据的升降趋势的检验,特别适用 于总体分布不服从正态分布或分布不明的配对资料, 有时当配对比较的结果只能定性的表示, 如试验前后比较结果为颜色从深变浅、程度从强变弱,成绩从一般变优秀,即不能获得具体 数字,也可用符号检验,例如用正号表示颜色从深变浅,用负号表示颜色从浅变深。 用于配对资料时,符号检验的计算步骤为:首先定义成对数据指定正号或负号的规则, 然后计数正号的个数 S 及负号的个数 S ,由于在具体比较配对资料时,可能存在配对资料 的前后没有变化,或等于假设中的中位数,此时仅需要将这些观察值从资料中剔除,当然样 本大小 n 也随之减少,故修正样本大小 n S S 。当样本 n 较小时,应使用二项分布确切 概率计算法,当样本 n 较大时,常利用二项分布的正态近似。 1. 小样本时的二项分布概率计算 当 n 20 时, S 或 S 的检验 p 值由精确计算尺度二项分布的卷积获得。在比较配对资 料试验前后有否变化,或增加或减小的假设检验时,如果我们定义试验后比试验前增加为正 号, 反之为负号, 那么对于原假设: 试验前后无变化来说, 正号的个数 S 和负号的个数 S 可 能性应当相等,即正号出现的概率 p =0.5,于是 S 与 S 均服从二项分布 B(n,0.5) ,对于太 大的 S 相应太小的 S ,或者太大的 S 相应太小的 S ,都将拒绝接受原假设;对于原假设: 试验后比试验前有增加来说,正号的个数 S 大于负号的个数 S 的可能性应该大,即正号出 现的概率 p 0.5 ,对于太小的 S 相应太大的 S ,将拒绝接受原假设;对于原假设:试验 后比试验前减小来说,正号的个数 S 小于等于负号的个数 S 的可能性应该大,即正号出现
上海财经大学经济信息管理系IS/SHUFE Page 2 of 8
正号出现的概率 0.0001 0.0009 0.0056 0.0222
累计概率 0.0001 0.0009 0.0065 0.0287
4 5 6 7 8 9 10 11 12 13 14
0.0611 0.1222 0.1833 0.2095 0.1833 0.1222 0.0611 0.0222 0.0056 0.0009 0.0001
第二十七课 符号检验和 Wilcoxon 符号秩 检验
在统计推断和假设检验中,传统的检验统计量都叫做参数检验,因为它们都依赖于确定 的概率分布,这个分布带有一组自由的参数。参数检验被认为是依赖于分布假定的。通常情 况下,我们对数据进行分析时,总是假定误差项服从正态分布,这是人们易于接受的事实, 因为正态分布的原始出发点就是来自于误差分布,至于当样本相当大时,数据的正态近似, 这是由于大样本理论所保证的。但有些资料不一定满足上述要求,或不能测量具体数值,其 观察结果往往只有程度上的区别,如颜色的深浅、反应的强弱等,此时就不适用参数检验的 方法,而只能用非参数统计方法(non-parametric statistical analysis)来处理。这种方法对数据 来自的总体不作任何假设或仅作极少的假设,因此在实用中颇有价值,适用面很广。
上海财经大学经济信息管理系IS/SHUFE Page 3 of 8
包含的信息却未加利用, 但 Wilcoxon 符号秩检验方法既考虑了正、 负号, 又利用了差值大小, 故效率较符号检验法高。 例 27.2 某制造商想要比较两种不同的生产方法所花费的生产时间是否有差异。随机地选 取了 11 个工人,每一个工人都分别使用两种不同的生产方法来完成一项相同的任务,每一个 工人开始选用的生产方法是随机的,即可以先使用生产方法 1 再使用生产方法 2,也可以先 用生产方法 2 再使用生产方法 1。这样,在样本中的每一个工人都提供了一个配对观察。数 据见表 27.3 所示。任务完成时间的正差值表示生产方法 1 需要更多的时间,负差值表示生产 方法 2 需要更多的时间。 表 27.3 两种不同生产方法完成任务的时间(分钟) 工人编号 n 1 2 3 4 5 6 7 8 9 10 11 生产方法 M M1 10.2 9.6 9.2 10.6 9.9 10.2 10.6 10.0 11.2 10.7 10.6 M2 9.5 9.8 8.8 10.1 10.3 9.3 10.5 10.0 10.6 10.2 9.8