第十章 列联表中的相关性测量 第一节 列联表相关测量的有关问题一、交互分类和列联表抽自某个总体的样本,同时按两个或两个以上的标准进行分类。
分类的资料可以排列成一个行、列交织的表,称为列联表,也叫交互分类表。
如:妇女的教育水平与志愿愿 望(Y)教育水平(X )合计高低 幸福家庭 125 95 220 理想工作 65 105 170 合 计190200390 列联表可以清楚反映在X 变化的条件下,Y 的次数分布情况。
因此,列联表又称为条件次数表。
列和:行边缘次数 行和:列边缘次数表中的次数:条件次数,表示在自变量的每个条件,因变量各个值的数目。
1X 2X … c X 合计 1Y 11f 12f … c f 1 ∙1f 2Y21f22f… c f 2∙2f┇ …r Y1r f 2r f … rc f ∙r f 合计1∙f2∙f…c f ∙∙∙f二、条件频率妇女的教育水平与志愿(%)愿 望(Y)教育水平(X )高低幸福家庭65.79 47.50 理想工作34.21 52.50 ∑100.00 100.00愿望(Y)教育水平(X)∑高低幸福家庭56.82 43.18 100.00理想工作38.24 61.76 100.00第二节 McNmar检验这种检验方法适用于非独立样本的2*2表,即单因素两水平。
Cochran检验是该检验方法在多样本条件下的推广。
例为了评估一位政党候选人竞选活动的效果,由60个选民组成的随机样本在候选人竞选阳朔之前和之后,询问的问题是“对该候选人是投赞成还是反对”受试者演说前演说后受试者演说前演说后受试者演说前演说后1 1 1 21 0 1 41 1 12 1 1 22 1 1 42 0 03 1 0 23 0 0 43 1 14 0 1 24 1 1 44 0 05 0 1 25 0 0 45 1 16 0 0 26 1 1 46 1 17 1 1 27 0 0 47 0 18 0 1 28 1 1 48 0 09 1 1 29 0 0 49 0 110 0 1 30 1 1 50 1 111 0 0 31 1 1 51 0 012 1 1 32 0 0 52 0 113 0 1 33 1 1 53 1 114 1 1 34 0 0 54 0 015 0 1 35 1 1 55 1 116 1 0 36 0 0 56 0 017 0 1 37 1 1 57 0 018 0 1 38 0 1 58 0 019 1 1 39 1 1 59 1 120 0 0 40 0 0 60 0 0后(-) 后(+) 前(+) 2 25 前(-)2013McNmar 检验思路:在竞争演说前后有15个人改变了观点,我们分析的焦点在改变了观点的15个人。
:0H 竞争演说无效应:1H 竞争演说有效应在原假设为真的条件下,认为n 个人改变观点的人是随机的选择“+”或“-”。
可以认为,选择“+”的人数是服从B (n ,0.5)分布。
(n 为前后改变了选择的样本点)。
则检验的p 值:p =∑=--15131515)5.01(5.0i ii i C =0.000488 故拒绝原假设,竞争演说有显著的正效应。
注:当样本容量(改变观点或发生改变)大于50 时,可以将2χ检验用于McNmar 检验。
后(-)后(+) Σ前(+) aba+b 前(-) c dc+d ∑a+cb+da+b+c+d因为 ())1(~)1(2121χp np np a Q --=而 ()())1(121121p n np a np np a Q--+-=()()221212a np n dn np np np ---+=+()()221212a np d np np np --=+在原假设为真时,221d a np np+==,则上式为)1(~22222222χχda d a d da d a a +⎪⎭⎫ ⎝⎛+-++⎪⎭⎫ ⎝⎛+-=等价的公式为())1(~222χχda d a +-=当αχ<+-≥))((22da d a p ,则拒绝原假设。
第三节 列联表中的2χ检验及相关测量一、四格表资料的χ2检验 (两个样本率比较)两因素两水平,两因素是否相互独立。
1、两个样本率资料的四格表形式 x Σya b a+b cd c+d ∑a+cb+da+b+c+d如果x 与y 相互没有关系,有 a ≈[(a+b)(a+c)/(a+b+c+d)]=e 11 b ≈[(a+b)(b+d)/(a+b+c+d)]=e 12 c ≈[(a+c)(c+d)/(a+b+c+d)]=e 21 d ≈[(b+d)(c+d)/(a+b+c+d)]=e 22 故设计统计量)1(~)()()()(222222212211221211211χe e a e e c e e b e e a Q -+-+-+-=))()()(()(2a d d c cb b a bc ad n ++++-=2、χ2检验的基本思想χ2值反映了实际频数和理论频数的吻合程度。
χ2值越小,说明实际频数与理论频数越吻合,χ2值越大,说明实际频数与理论频数差异越大。
如果检验假设成立,则实际频数与理论频数之差一般不会很大,即出现大的χ2值的概率是小的。
若在无效假设下,出现了大的χ2值的概率P ≤α(检验水准),我们就怀疑假设的成立,因此拒绝它。
另外χ2值的大小,还与自由度有关。
故考虑χ2值大小的意义时要同时考虑自由度。
二、 行(r)×列(c)表资料的χ2检验 两因素多水平的情形。
1、如果x 与y 相互独立,则有)/)(/(/N f N f N f i j ij ∙∙≈ iji j ij e N f f f =/∙∙⨯≈[]∑∑==---=ri cj ij ij ijc r e e fQ 1122)1)(1(~/)(χ2. 注1)行×列表χ2检验对理论频数有要求。
一般认为不宜有1/5以上格子数的理论频数小于5,或有1个格子的理论数小于1,否则将导致分析的偏性。
2)多个样本率(或多组构成比)比较的χ2检验,若结论拒绝无效假设,只能认为各总体率(或多组构成比)之间总的来说不同,但不能说明它们彼此之间都不同,或某两者之间有差别。
3)关于单向有序资料(等级资料)的统计处理,宜用秩和检验。
χ2检验只能说明各处理组间效应在构成比上有无差别。
三、基于χ2的相关测量方法 1、ϕ相关系数nQ =ϕ例如 ))()()(()(a d d c c b b a bc ad ++++-=ϕϕ的绝对值最小的为零,为零时说明x 与y 之间无关。
2、列联相关系数Qn Q C +=3、克莱默的V 相关系数)1,1min(--=c r n QV三、三个因素的多水平的情况设有3个因素,每个因素的水平分别为r,c 和l 。
[]∑∑∑===----=r i c j lk ij ikj ijkk c r e e fQ 11212)1)(1)(1(~/)(χ其中nf nf nf n e k j i ijk ....,,⨯⨯⨯=例 对一些交通事故的保险结果表明出事故率和赔保历史与教育程度等因素有关。
有资料如下: 赔保历史教育程度小学以下初中 高中 大学及以上 从未赔过 281 130 50 50 赔过一次 256 90 10 5 赔过两次以上1073064利用该数据你可以得到什么信息。
利用你知道的检验方法进行检验。
赔保历史 * 文化程度 CrosstabulationCount2811305050511256901053611073064147644250665910191.002.003.00赔保历史Total1.002.003.004.00文化程度TotalChi-Square Tests58.368a6.00063.1376.00041.6681.0001019Pearson Chi-Square Likelihood Ratio Linear-by-Linear Association N of Valid CasesValuedfAsymp. Sig.(2-sided)0 cells (.0%) have expected count l e ss than 5. The minimum expected count is 8.51.a.第四节 熵和似然比检验一、熵从统计的观点看,一个事件A 的发生如果给人们带来了信息,则应该认为它是一个随机事件。
显而易见,一件为人们所完全预料的事件(如必然事件),不会给人们带来信息。
假定A 和B 是两个随机事件,有P (A )大于P (B ),人们的常识是概率小的事件带给人们更多的信息。
所以B 事件的信息比 A 事件多。
必然事件的信息为0。
定义熵:一个离散的随机变量ξ,⎪⎪⎭⎫⎝⎛)()()()(n na P a p a p a p a a a a321321定义1()ln()ni i i h P p ξ==-∑为ξ的熵。
i p 是随机变量ξ=a i 的概率,该概率接近1,它的“确定性”程度越大;i p 接近0,它的“确定性”程度就差。
当i p =1,则0)ln(=-i p ,当i p =0,则∞=-)ln(i p ,所以我们用1()ln()ni i i h P p ξ==-∑来反映ξ取值的分散程度,该值越大,不确定的成分越多。
两个随机变量X 和Y 的联合熵:∑∑==-=ri ij cj ijp PY X h 11)ln(),(三个随机变量X ,Y 和Z 的联合熵:∑∑∑===-=ri cj ijk lk ijkp PZ Y X h 111)ln(),,(熵反映随机变量的不确定性。
当随机变量之间相互独立时,则不确定的因素越多,则联合熵较大。
三、 似然比检验似然比是列联表中所涉及的变量相互独立时的似然函数的最大值与不相互独立时的似然函数的最大值之比。
似然比统计量常常用来检验变量间的独立性。
似然比检验的假设是是相互独立的。
和Y X H :0设有两个随机变量X 和Y ,X 取r 个值r a a a ,,,21 ,Y 取c 个值c b b b ,,,21 。
现从中抽取一个容量为n 的样本。
有),(j i b Y a X ==的频数为ij f 。
∑∑===ri cj ij n f 11。
由于当两个随机变量X 和Y 相互独立时,有)()(),(j i j i b Y P a X p b Y a X p =====则两个随机变量X 和Y 相互独立时,),(j i b Y a X p ==的极大似然估计为:nf nf p p pj i j i ij .,..ˆˆˆ⨯==两个随机变量X 和Y 不相互独立时,),(j i b Y a X p ==的极大似然估计为:nf pij ij =ˆ则似然比为: ()()∏∏===Λri cj f ijf j i ijijpp p11..ˆˆˆ似然比统计量为..1111..ˆˆˆ2ln 2ln 2ln ˆˆˆr cr ci j ij ij ij i j i j ij i j p p p f f p p p ====⎛⎫⎛⎫-Λ=-= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭∑∑∑∑∑∑==⎪⎪⎭⎫⎝⎛=r i cj j i ijij f f nf f 11..2ln 2χ当2χ很大,说明样本更有可能来于X 和Y 相互独立的总体,其似然函数更大,故支持原假设。