当前位置:文档之家› 线性回归模型检验方法拓展-三大检验

线性回归模型检验方法拓展-三大检验

第四章线性回归模型检验方法拓展——三大检验作为统计推断的核心内容,除了估计未知参数以外,对参数的假设检验是实证分析中的一个重要方面。

对模型进行各种检验的目的是,改善模型的设定以确保基本假设和估计方法比较适合于数据,同时也是对有关理论有效性的验证。

一、假设检验的基本理论及准则假设检验的理论依据是“小概率事件原理”,它的一般步骤是(1)建立两个相对(互相排斥)的假设(零假设和备择假设)。

(2)在零假设条件下,寻求用于检验的统计量及其分布。

(3)得出拒绝或接受零假设的判别规则。

另一方面,对于任何的检验过程,都有可能犯错误,即所谓的第一类错误P(拒绝H|H0为真)=α和第二类错误P(接受H|H0不真)=β在下图,粉红色部分表示P(拒绝H0|H0为真)=α。

黄色部分表示P(接受H0|H0不真)=β。

而犯这两类错误的概率是一种此消彼长的情况,于是如何控制这两个概率,使它们尽可能的都小,就成了寻找优良的检验方法的关键。

下面简要介绍假设检验的有关基本理论。

参数显著性检验的思路是,已知总体的分布(,)F X θ,其中θ是未知参数。

总体真实分布完全由未知参数θ的取值所决定。

对θ提出某种假设001000:(:,)H H θθθθθθθθ=≠><或,从总体中抽取一个容量为n 的样本,确定一个统计量及其分布,决定一个拒绝域W ,使得0()P W θα=,或者对样本观测数据X ,0()P X W θα∈≤。

α是显著性水平,即犯第一类错误的概率。

既然犯两类错误的概率不能同时被控制,所以通常的做法是,限制犯第一类错误的概率,使犯第二类错误的概率尽可能的小,即在0()P X W θα∈≤ 0θ∈Θ的条件下,使得()P X W θ∈,0θ∈Θ-Θ达到最大,或1()P X W θ-∈,0θ∈Θ-Θ达到最小。

其中()P X W θ∈表示总体分布为(,)F X θ时,事件W ∈{X }的概率,0Θ为零假设集合(0Θ只含一个点时成为简单原假设,否则称为复杂原假设)。

0Θ-Θ为备择假设集合,并且0Θ与0Θ-Θ不能相交。

由前述可知,当1H 为真时,它被拒绝(亦即H 0不真时,接受H 0)的概率为β,也就是被接受(亦即H 0不真时,拒绝H 0)的概率是1β-(功效),我们把这个接受1H 的概率称为该检验的势。

在对未知参数θ作假设检验时,在固定α下,对θ的每一个值,相应地可求得1β-的值,则定义=1()()P X W θβθ-∈称1βθ-()为该检验的势函数。

统计检验的势(函数)主要用于比较假设检验的优劣。

于是一个好的检验方程是00max (),..(),s t βθθβθαθ∈Θ-Θ⎧⎨≤∈Θ⎩ 或 00min(1()),..(),s t βθθβθαθ-∈Θ-Θ⎧⎨≤∈Θ⎩为了理论上的深入研究和表达方便,我们常用函数来表示检验法。

定义函数1,()0,X W X X Wϕ∈⎧=⎨∉⎩它是拒绝域W 的线性函数,仅取值0或1。

反之,如果一个函数中()X ϕ只取0或1,则{|()1}W X X ϕ==可作为一个拒绝域。

也就是说,W 和ϕ之间建立了一种对立关系,给出一个ϕ就等价于给出了一个检验法,(我们称ϕ为检验函数)。

那么,对于检验法ϕ的势函数为()()()(,)E X X dF X θβθϕθΦ=Φ=⎰于是,一个好的检验法又可写为00max (),..(),s t E X θβθθϕαθΦ∈Θ-Θ⎧⎨≤∈Θ⎩称满足上式的检验法为最优势检验(MPT)。

如果对于复杂原假设和备择假设,则称为一致最优势检验(UMPT )。

奈曼—皮尔逊(Neyman Pearson -)基本引理给出于()X ϕ是MPT 的充要条件。

定理 设1,,n X X 是来自总体分布密度为(,)p X θ的样本,θ为未知参数,对于简单假设检验问题0011:,:H H θθθθ==,检验函数()X ϕ是显著性水平为α的最优势检验(MPT)的充要条件是,存在常数0K ≥,使得()X ϕ满足0()E X θϕα=10101,(,)(,)()0,(,)(,)p X Kp X X p X Kp X θθϕθθ>⎧=⎨<⎩当当这就是著名的奈曼—皮尔逊基本引理,需要指出的是,上述定理中的检验函数()X ϕ通常称为似然比检验函数,若记10(,)()(,)p X X p X θλθ=称()X λ为似然比统计量。

如果()X λ较大,意味着1(,)p X θ较大。

所以在0H 为真时观测到样本点X 的可能性比1H 为真时观察到样本点X 的可能性小,因而应拒绝原假设0H ;反之,如果()X λ较小则应接受0H 。

此外,利用()X λ,上述定理中的()X ϕ可写为1,()()0,()X K X X Kλϕλ>⎧=⎨<⎩这说明对于简单假设检验问题,似然比检验是最优的,反之最优势检验法也一定是似然比检验法。

而大量的文献都已证明了传统假设检验中的Z 检验、t 检验、2χ检验和F 检验都是最优势检验。

于是,我们可以放心地回到这部份的主题——计量经济模型的(假设)检验方法。

二、一般线性框架下的假设检验设多元回归模型为122k k Y X X u βββ=++++ (2-43)式(2-43)的统计检验通常包括以下三种情况1、单个系数的显著性检验。

2、若干个回归系数的联合检验。

3、回归系数线性组合的检验。

从检验的方面看,考虑以下典型假设01、0:0j H β=。

即解释变量j X 对Y 没有影响,这是最常见的参数显著性检验。

02、00:j j H ββ= 。

0i β是某一具体值。

例如j β表示价格弹性,我们也许希望它是-1。

03、012:1H ββ+=。

这里的β可以看成生产函数中资本和劳动的弹性,此时检验是否规模报酬不变。

04、023:H ββ=或230ββ-=。

即检验2X 和3X 的系数是否相同。

05、012:0k H βββ===。

即检验全部解释变量都对Y 没有影响。

06、0:0II H β=。

这里的含义是把β向量分为两个子向量I β和II β,分别含有1k 和2k 个元素。

检验0:0II H β=就是检验某一些解释变量II X (X 的一部分)对Y 没有影响。

诸如以上的情形都可归于一般的线性框架RB r = (2-44)注意:这里1(,)k B ββ'=。

其中R 是由已知常数构成的q k ⨯矩阵(q k ≤),r 是各元素为常数(一般是0或1)的1q ⨯矩阵。

于是,对于上述情形,R 的具体表示为(i )(010),0.(1)R r q ===(ii )0(010),.(1)i R r q β===(iii )(1,1,00), 1.(1)R r q === (iv )(0,1,1,0),0.(1)R r q =-==(v ),0.()k R I r q k ===(vi )2200,0.()0k R r q k I ⎛⎫=== ⎪⎝⎭ 将上述假设问题一般化,则0:0H RB r -=为了检验这个假设,应先估计出ˆB ,计算ˆRB r -,若其值较“小”,(接近于0),则不应否定原假设;而如果其值较大,那么应对0H 提出怀疑。

为此我们先考察ˆRB的分布。

对于OLS 的ˆB,我们知道21ˆ~(,())B N B X X σ-'。

这里的X 是所有解释变量观测值组成的n k ⨯矩阵,其中不含全是1的第一列,ˆRB的数学期望和方差分别是 ˆ()E RBRB = 21ˆˆˆˆ()[()()]()Var RBE R B B B B R RVarBR R X X R σ-'''''=--== 所以21ˆ~(,())RBN RB R X X R σ-'' 于是,在0:0H RB r -=成立的条件下21ˆ~(0,())RBr N R X X R σ-''- 那么,由有关的数理统计知识可知,其中的方差经过构造,服从自由度为q 的卡方分布,q 为参数中非零的个数,即2112ˆˆ()[()]()~()RBr R X X R RB r q σχ--'''-- (2-45) 此外,我们还可以证明22'~()E En k χσ- (残差平方和的分布)。

因此,由上述两式,可构造在0H 下的F 检验统计量11ˆˆ()[()]()~(,)'()RB r R X X R RB r q F F q n k E E n k --'''--=-- (2-46) 注意,2ˆ'()E E n k σ-=(亦即22ˆie n k σ=-∑)。

于是,检验的程序是,如果计算出的F 值大于某个事先选定的临界值,则拒绝0H 。

具体描述如下01、0:0j H β=此时ˆRB 为ˆjβ。

1()R X X R -''为jj c ,即1()X X -'主对角线上的第j 个元素,1()X X -'是一K 阶对称方阵。

因此222ˆˆ~(1,)ˆˆˆ()j j jj jF F n k c Var ββσβ==- (2-47) 取平方根 ˆ~()ˆˆ()jj t t n k se ββ=-,这就是传统的关于回归参数显著性的t 检验法。

02、00:j j H ββ=类似01,这里ˆ~()ˆˆ()j j j t t n k se βββ-=- (2-48)此时也可以计算,比如j β的95%置信区间,而不用检验关于j β的具体假设,这个置信区间是0.025ˆˆˆ()j jt se ββ±。

03、012:1H ββ+=ˆRB 给出了两个估计系数的和12ˆˆββ+,而此时1111222()2R X X R c c c -''=++,式中1()ij X X c -'=,R=(1,1,,0)。

那么1121111112221122122[()]ˆˆˆˆˆˆˆ[(2)][2(,)][()]ˆR X X R c c c Var Cov Var Var σββββββσ-----''=++=++=+于是检验统计量为ˆˆ~()t t n k =- (2-49)或者,也可以计算12ββ+的95%置信区间12ˆˆ()t ββ+±04、023:H ββ=类似03,可推得此时的检验统计量为ˆˆ~()t t n k =- (2-50)05、023:0k H βββ===此时 k R I =,0r =,q k =,那么ˆˆ'~(,)'()()B X XB k ESS k F F k n k E E n k RSS n k '==--- (2-51) 这就是我们熟悉的关于回归方程显著性的F 检验。

相关主题