第四章 假设检验假设检验是一种重要应用价值的统计推断形式,是数理统计的分支。
从发展历史上有重要的节点为1 :Pearson 的拟合优度的2χ检验 19002:Fisher 的显著性检验 19203:Neyman-Pearson 一致最优检验 1928 4:Wald 的判决理论 19505:Bayes 方法 (二战之后发展的学派) §4.1 基本术语关于随机变量的分布、数字特征等,每一种论断都称为统计假设,分为参数假设和非参数假设,例如),(~2σu N X ,假设1,1:==σu H 就称为参数假设;给定一组样本值,假设:H ~X 正态分布,对于分布进行论断,为非参数假设。
无论上面那种假设,都是给出一个对立的假设,比如),(~2σu N X ,那么假设1,1:0==σu H 的对立假设就是1,1:1≠≠σu H ,我们就把0H 称为基本假设,或者原假设,而1H 就称为对立(备选)假设。
为了分别那个假设是对的,需要判断假设真伪,就是对假设做出“否”还是“是”的程序就是检验,这个检验常用否定域形式给出,按照一定规则把样本值集合分成两个部分V V ⋃,当样本值落入子集V 认为0H 不真,那么V 是0H 的否定域,V 为0H 的接受域。
那么这样就产生了两种错误:第一类错误α :本来0H 是真,但是却否定了,弃真; 第二类错误β :本来0H 不真,但是却接受为真,叫取伪。
选定一种检验方法,我们希望上述两种错误概率都小。
但是给定样本容量,使得两种错误任意小是不可能的,我们主要研究两大类检验方法:1:样本容量给定,控制第一类错误,使得错误概率有一个上界α,叫做检验的显著性水平,根据这种原则建立的检验就是α水平显著性检验;2:样本容量给定,控制第一类错误α水平固定,还使得第二类错误最小,就是接受不真实假设的概率最小,否定不真实假设的概率就称为检验功效1-β,使得功效最大,,根据这种原则建立的检验就是α水平最大功效检验,或者最佳检验。
§4.2参数假设检验设X 符合分布),(θx F ,未知参数θΘ∈参数空间,空间分成两部分0Θ和Θ-0Θ,二者交集为空。
主要对于正态分布参数的统计假设的显著性检验方法。
1)针对不同问题,提出基本假设与备选假设0H :θ0Θ∈ 1H :θ0Θ-Θ∈如果参数空间仅仅是由0θθ=和1θθ=两个点组成的,那么我们称简单假设,否则是复合假设。
2)给定检验的显著性水平α,其大小依据不同问题不同,比如火箭、飞机等可靠性问题,α要越小越好,对于一般生产问题,太小了则意味着生产时间和成本的增加;3)建立对于基本假设的统计量和否定域;4)取样,计算统计量值,落入否定域则判读0H 为假,否则为真。
例子:某种药片制剂中国家规定成分A 的含量X 必须为10%,现在抽取5个片剂试样,测得A 的含量为10.9% 9.45% 10.38% 9.61% 9.92%假设)%,10(~20σ=u N X ,按照显著性水平α=0.05进行检验是否与规定10%相符?解:建立基本假设0H :0u u =,这里显著性水平α=0.05,样本容量为5,样本值如上。
如何确定统计量呢?样本均值X 可以求出,但是这里方差未知,用无偏估计量*2n S 来代替2σ,那么统计量=t )1(~/*20--n t nS u X n这是我们以前推导过的,因此可以建立否定域为αα=⎭⎬⎫⎩⎨⎧≥2||t t P即落入区域2||αt t ≥则认为假,此区域之外就是真。
t-检验法。
回到我们的问题,X =1005.0,*2nS =25120059.0)(151=--∑=i i X x ,那么6949.1/*20=-=nS u X t n为统计量的值,由显著性水平α=0.05,我们查得7764.2)4(205.0=t 。
由于6949.1=t <7764.2)4(205.0=t ,这个统计量值落在否定域之外,就是说基本假设是真的,因此判断显著性水平α=0.05下规定成分A 的含量与规定10%相符的。
两样本t 检验法:有时为了比较两种方法、仪器、产品等的差异性,我们在相同条件下做对比试验,然后得到成对的数据,分析这些数据作出推断。
再次回顾第二章中定理定理:设121,,,n x x x 子样来自母体),(211σu N ,221,,,n y y y 子样来自母体),(222σu N ,各自的子样均值∑==1111n i i x n X ),(~1211n u N σ,∑==2121n i i y n Y ),(~2222n u N σ,那么),(~22212121n n u u N Y X σσ+--,那么一个新的变量)1,0(~)()(22212121N n n u u Y X U σσ+---=,若21μμ=,)1,0(~)(222121N n n Y X U σσ+-=*22222*2121111S n S n V σσ-+-=符合)1(12-n χ+ )1(22-n χ,即)2(212-+n n χ,加和性质 且上述两个变量相互独立。
那么依据定义)2(~)2/(2121-+-+n n t n n V U例子:设两种橡胶轮胎进行耐磨性试验对比,从中各自随机取8个,各取一个随机配对装在8架飞机上,经过一段时间测量磨损量如下(单位毫克)这里显著性水平α=0.05。
方法一:假设两个母体),(21σu N , ),(22σu N 方差一样 原假设 0H :21u u =, 对立假设为1H :21u u ≠ 独立那么按照上述定理得到6145=X 1867312*1=S ;5825=Y 1204422*1=S 代入得到)14(~516.014/t V U= 查表145.2)2/(14=αt ,可见大于计算的统计量值,那么就不否定(接受)假设0H ,认为二者磨损量无显著差异。
方法二:我们采用配对实验Z=X-Y -30 320 360 320 -140 230 780 720 由于 d y x E z E i i i =-=-=21][][μμ,2][][][D i i i y D x D z D σ=+=那么,i z 是来自母体),(D d N σ的正态母体,此时假设0H :21u u =等价于 0=d 的假设,设∑==n i i z n Z 11=320,∑=--=n i i n Z z n S 12*2)(11=102200,那么我们也可以构造 72*~83.2/t nS Z n=查表,显著性水平α=0.05下,365.2)2/(14=αt ,我们发现365.283.2>,说明落在了否定域,即否定原假设0H ,两种轮胎的耐磨性是有差异的。
讨论:同一显著性水平α=0.05下,相同的数据,为何两种方法得到完全不同的推断结论呢?这是因为,配对分析时,自由度下降了n=8-1,从而临界值提高了,即365.2)2/(14=αt ,增加了否定原假设的可能性,每架飞机突出两种轮胎之间差异,消除了飞机之间的数据影响,只要两个轮子耐磨性有一定差异,就可能否定假设0H ;而不做配对,自由度增加为8+8-2=14,临界值降低,减小了否定原假设的可能性。
什么时候用方法一还是方法二,还是得靠具体情况定。
其他不同的问题,构造不同的统计量,利用不同的分布进行检验,书上有基本的统计量表格,无非就是查表计算问题。
§4.3 非参数假设的2χ检验所谓非参数假设,就是不确切知道母体分布的数学形式的情况下,对于母体分布的各种论断,比如服从什么什么分布,相互独立,等等。
其特点是:A 不依赖与母体分布的具体形式,什么形式都适用的检验;B 由于缺乏母体分布的完全知识,所以使用的统计量精确分布难以求出,只能求出极限分布,一般需要大样本容量。
Pearson 提出了2χ检验法,步骤为:1):将所有观测值X 进行分割不同子集 rk k A X 1==, j i A A j i ≠=,φ,子集的数目为r ;2):统计观测值在每个子集k A 中出现的频数k n (出现的次数),当然满足n nrk k=∑=1;3):在基本假设0H 真实的情况下,就是按照我们设定的分布概率密度函数,计算每个子集k A 中的理论期望频数,设落入概率为}|{0H A x P P k k ∈==dx H x f kA ⎰)|(0,r k ,,2,1 =,11=∑=rk k P 注意这是概率那么我们得到期望频数为 k n nP E k =,就是总共抽取n 个样本,那么每个子集k A 内理论上应该抽取了几个。
4)建立统计量∑∑==-=-=rk k k k rk n n k nP nP n E E n kk 12122)()(χ~)1(2-r χ符合)1(2-r χ分布,且表示了实际观察和理论结果之间相对差异的总和,当这个值大于某个临界值,则否定此假设。
否则接受假设。
Pearson 证明 为何上述统计量符合)1(2-r χ分布: 证明:1)当r=2两个子集,n n n =+21,121=+P P那么2112112122)1()()(ηχ=--=-=∑=P nP nP n nP nP n k k k k这里注意211211222)())1(()(nP n P n n n nP n -=---=-,代入即可那么由De Moirre-Laplace (隶莫弗)定理,二项分布)1(1111P nP nP n --=η的极限分布为标准正态分布,即)1,0(~N η,那么)12(~22-χη分布。
这是r=2时是符合的。
2)当2>r 的一般情况我们知道频数有n n rk k =∑=1,上面为二项分布,这里符合多项分布rn r n r r P P n n n n P P f 11211!*!*!*!),,(=同样由中心极限定理)1(j j j j P nP nP n --)1,0(~N ,那么jjj j nP nP n Y -=)1,0(~j P N -∑∑==-=-=rk k k k rk n n k nP nP n E E n kk 12122)()(χ就是r 个正态随机变量的平方和,但是由于这些变量之间有一个制约关系。
就像前面我们证明正态母体均值和方差的分布时一样证明方法,构造的正交矩阵⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=ija P P P A 321使得AY Z =,我们会发现=-∑=jjj rj jnP nP n P 1∑∑∑====-=-rj j r j j rj jj P n n n n nP n 1110)(1∑∑∑=====-==rk k r k k rk k k k Z Y nP nP n 21122)(χ,只是1-r 正态变量的平方和,所以自由度为1-r 。