抽样第十二章
j 1 r
c
i 1,2, , r ; j 1,2, , c;
n j nij ,
i 1
n
i 1
r
i
n j n.
j 1
c
其中表示落入第i行和第j列所代表的类的 观测值个数。nij
• 如果行因子R和列因子C独立,则对于所有 的i和j,有
pij pi p j .
ˆ
此时,在H 0下,Wald统计量 近似服从自由度为 1的卡方分布 .
2 ˆ 2 XW ˆ) ˆ ( V
对于较大的列联表,令 [11 , 12 , , r 1,c 1 ]T 为 ij的(r 1)(c 1) 1向量,从而,问题变为 H 0: 0
2 ˆT V ˆ) 1 ˆ, ˆ ( Wald统计量 XW ˆ)是 ˆ的协方差矩阵 ˆ ( 其中,V .
以一阶校正为例 , (2r 1)( c 1)的均值(r 1)(c 1), 假定H 0为真, 基于 复杂抽样设计将 E ( X 2 )或者E (G 2 )的值计算出来 ,以 (r 1)(c 1) 作为校正系数 , 将检验统计量 2 E (G ) (r 1)(c 1) 2 X *2 X 2 E( X ) 或者 (r 1)(c 1) 2 G G 2 E (G )
n
ij
ˆ ij ˆ ij p ˆ i p ˆ j m p n . ˆ ij ˆ i p ˆ j m p i 1 j 1
r c 2
似然比检验统计量是
r c ˆ ij n p ij 2 ˆ ij ln G 2 nij ln 2n p ˆ ij ˆ i p ˆ j m p i 1 j 1 i 1 j 1 r c
2 对于大样本, 在H 0下, X W 近似服从 (2r 1)( c 1)分布.这里, " 大样
本" 指的是在复杂调查中需 要大量的初级抽样单元 , 而非观测单 ˆ)是一个1616的矩阵而且需 ˆ ( 元.比如, 在一个5 5的列联表中 ,V 要计算136个不同的方差和协方差 .如果一个整群样本只有 140个 初级抽样单元, 则由其估计的协方差矩 阵将极不稳定 .实际中, 不 推荐对较大的列联表进 行Wald检验, 因为效果通常较差 .
第十二章
复杂抽样设计下的统计分析
卡方独立性检验
• 定义:用于检验两个或两个以上因素(变 量)各有多项分类之间是否有关联或是否 具有独立性的问题。 • 如要讨论血型与性格的关系,血型有A、B、 AB、O四类,性格采用心理学上的A型性格 来划分,即有A型和B型两种,每个人可能 是它们之间交叉所形成的8种类型中的一种, 就可以用卡方独立性检验。
• 从而,独立性的检验问题变为
H 0 : pij pi p j , i, j; H1 : 至少存在一对( i, j),pij pi p j .
令mij npij , mij 代表期望频率,如果 H 0为真, 则可以得到mij npi p j .同时mij的估计为 ˆ ij np ˆ i p ˆ j m ˆ ij p ˆ ij . p
整群抽样则通常产生相 反的影响 .整群抽样的设计 效应通常大于 1.用n个整群抽样观测单元和 用少于n个 简单随机抽样观测单元 来估计pij , 得到的精度是相同的 . 如果忽视整群效应 , X 2和G 2会大于由等量的简单随 机 样本得到的结果 , 检验的p值则会偏小 , 此时H 0会更容易 ˆ ij 被拒绝, 从而检验犯第一类错误 的概率增加了 .在计算p 的置信区间时 , 也会比简单随机抽样下 的置信区间要窄 , 看似得到的是更精确的 估计, 但这是虚假的 .
Bonferroni检验
变量独立性检验的原假 设H 0 : 11 0,12 0, , r 1,c 1 0 分解成m (r 1)(c 1)个组成部分: H 0 (1) : 11 0, H 0 (2) : 12 0, H 0 (m) : ( r 1)( c 1) 0. 使用Bonferroni 不等式,在显著性水平 为 对每一组成部分 H 0 (k )进行检验.
如果不理会这一整群效 应, 则观测频数的列联表数 据将如表 12.7:
ˆ 11 此时,比例估计与前面的简单 随机样本是相同的 .p ˆ 21 p
19 11 ˆ 12 , ,p 50 40
7 17 ˆ 22 ,p .但是, 皮卡逊卡方检验统计量 的值却是简单随机样本 40 100 时的两倍, 为3.891 , 检验的p值为0.049.如果忽视整群效应 , 会得出家庭订阅 报纸和开通宽带上网的 行为不是相互独立的结 论.而如果假定每个家庭都 是四口之家, 对家中的两个孩子也一 起调查, 得到的p值将会更低,因为检验 统计量的值比原来扩大 了四倍.
似然比检验统计量为 ˆi p ˆ i ln ( 0 ) . G 2n p ˆi p i 1
2 r
如果原假设成立,这两个统计量近似服从 自由度为r-k-1的卡方分布,其中,k为总体 分布的未知参数个数。
卡方检验的调查设计效应 抽样设计从两个方面对类别数据的分析产 生影响:一是影响对单元格中概率的估计, 二是影响对相对性或拟合优度的检验。
如果满足: ( 1)每个单元格的期望频 数大于1; (2)n 5 单元格的数目 . 则在原假设成立的情况 下,X 2和G 2 近似服从自由 度为(r 1)(c 1)的卡方分布 .
卡方拟合优度检验
• 基本思想:实际频数与理论频数的吻合程 度 • 用途:检验样本所代表的总体的频数分布 是否符合某一理论分布(正态、二项、 Poisson) • 注意事项:样本含量要充分大,每个组段 的理论频数不能太小(小于5)
m
下分别
如果在显著性水平 下拒绝了某一个 H( , 即对于任意 0 k) m ˆ ij 的 i和j , 有 t k ( ),则在显著性水平 下拒绝H 0 . 2m ˆ ) ˆ ( V ij 每一个检验统计量都与 tk (
2m 估计量的自由度 .如果采用随机组的方法 来估计方差, 那 k 初级抽样单元的个数 层数.
也就是说, 落入单元格(i, j )中的观测值的权重之和 ˆ ij p . 样本中所有单元的权重 之和 如果不考虑抽样权数 , 得到的各单元格中的概 率估计将会是 错误的.
对于假设检验和置信区 间的影响 首先来看分层的影响 , 分层抽样将导致过于保 守的检验和 置信区间 .对于一个简单随机样本 , 卡方独立性检验统计量 为
j 1 c
xij xi x j n , 其中,pij , n n n
卡方 检验 的基本思想:
期望频数频率相差应该不会太大 .而如果二者 相差较大, 则有理由拒绝 H0. 计量为 X 个单元格的实际频 数频率与
基于此基本思想的皮尔 逊Pearson卡方检验统
对单元格中概率估计的 影响 如果样本是自加权的 , 那么观测频数nij真实地反映了总体中各 类别的相对频数 ; 而如果不是, 则应在估计单元格的比 例时, 将 抽样权数考虑进去 . 例如, 对pij的估计可调整为 ˆ ij p
w y w
kS k kS k
kij
,
1, 如果观测单元k落入单元格(i, j ) 其中,ykij , wk 是观测单元 0, 否则 的抽样权重 .
检验问题可以归结为 H 0 : pi p , i, (12.4)
(0) i
其中,pi( 0 )可以是事先指定的相关 数值, 也可以是参数
的一个函数,并且该参 数可通过样本数据来估 计.
对应的皮尔逊卡方检验 统计量为
(0) 2 (0) 2 r ˆ ˆ ˆ ˆ ( n p n p ) ( p p 2 i i i i ) X n . (0) (0) ˆi ˆi np p i 1 i 1 r
过程归纳为:当我们抽取了一个容量为n的 样本后,假设可以对样本中的每个单元按 两个特性进行分类,分别称为行因子和列 因子。 将n个独立观测值分别按行因子和列因子进 行交叉分组:行因子R有r个水平,列因子C 有c个水平。如表所示:
• 通常在二维表中还按行,列分别求出其合计数:
ni nij ,
2 *
(r 1)(c 1) 或 2 E( X )
2 ˆ ˆ ˆ ( p p p ) ij i j X 2 n . ˆ i p ˆ j p i 1 j 1 r c
一般情况下, 分层会比简单随机抽样 有更高的估计精度 . n 用n个分层抽样观测单元和 用 (deffij是估计pij时的设计 deffij 效应)个简单随机抽样观测单 元来估计pij , 二者的精度是相同 的.通常情况下, 如果合理地进行了层的 划分, 设计效应会小于 ˆ ij构造简单随机抽样意 1.因此, 如果用从分层样本计算 得到的p 义下的检验统计量 X 2和G 2 , 得到的X 2和G 2 将会比它们应该服 从的原假设 2 ( r 1)( c 1)分布要小 .忽略掉分层效应后计算 得到的p 值将会偏大, 这意味着H 0不那么容易被拒绝 .从而, 如果忽视分 ˆ ij的置信区间时 层效应, 得到的便是一个保守的 检验.在计算p , 也会比简单随机抽样下 的置信区间要宽 , 得到的估计同样是过 于保守的 .
卡方检验的校正
Wald (沃尔德)检验 首先考虑2 2表格的情形,原假设为 H 0: 11 p11 p1 p1 p11 p22 p12 p21 0. ˆ p ˆ p ˆ p ˆ . 可作如下估计 ˆ p
11 22 12 21
由于参数是总体总量的一个平滑 参数,因此, ˆ). 可以采用第十一章中介 绍的一些方法来估计 V ( 如果样本量足够大,原 假设下 正态分布. 近似服从标准 ˆ) ˆ( V
)进行比较, 其中, k为方差
么k 随机组的个数 1; 而如果采用其他估计方 法, 那么
和卡方分布的矩进行匹配