对多元线性回归模型的各种检验方法对于形如u X X X Y k k +++++=ββββΛΛ22110 (1) 的回归模型,我们可能需要对其实施如下的检验中的一种或几种检验:一、 对单个总体参数的假设检验:t 检验在这种检验中,我们需要对模型中的某个(总体)参数是否满足虚拟假设0H :j j a =β,做出具有统计意义(即带有一定的置信度)的检验,其中j a 为某个给定的已知数。
特别是,当j a =0时,称为参数的(狭义意义上的)显著性检验。
如果拒绝0H ,说明解释变量j X 对被解释变量Y 具有显著的线性影响,估计值j βˆ才敢使用;反之,说明解释变量j X 对被解释变量Y 不具有显著的线性影响,估计值j βˆ对我们就没有意义。
具体检验方法如下:(1) 给定虚拟假设 0H :j j a =β;(2) 计算统计量 )ˆ(ˆ)ˆ()(ˆjj j j j j Se a Se E t βββββ-=-= 的数值; 11ˆ)ˆ(++-==j j jj jj j C C Se 1T X)(X ,其中σβ(3) 在给定的显著水平α下(α不能大于1.0即 10%,也即我们不能在置信度小于90%以下的前提下做结论),查出双尾t (1--k n )分布的临界值2/αt ;(4) 如果出现 2/αt t >的情况,检验结论为拒绝0H ;反之,无法拒绝0H 。
t 检验方法的关键是统计量 )ˆ(ˆj jj Se t βββ-=必须服从已知的t 分布函数。
什么情况或条件下才会这样呢?这需要我们建立的模型满足如下的条件(或假定):(1) 随机抽样性。
我们有一个含n 次观测的随机样(){}n i Y X X X i ik i i ,,2,1:,,,,21ΛΛ=。
这保证了误差u 自身的随机性,即无自相关性,0))())(((=--j j i i u E u u E u Cov 。
(2) 条件期望值为0。
给定解释变量的任何值,误差u 的期望值为零。
即有0),,,(21=k X X X u E Λ这也保证了误差u 独立于解释变量X X X ,,,21Λ,即模型中的解释变量是外生性的,也使得0)(=u E 。
(3) 不存在完全共线性。
在样本因而在总体中,没有一个解释变量是常数,解释变量之间也不存在严格的线性关系。
(4) 同方差性。
常数==221),,,(σk X X X u Var Λ。
(5) 正态性。
误差u 满足 ),0(~2σNormal u 。
在以上5个前提下,才可以推导出:1~)ˆ(/)ˆ()1,0(~)ˆ(/)ˆ()]ˆ(,[~ˆ----k n j j j jj j jj j t Se N Sd Var N βββββββββ由此可见,t 检验方法所要求的条件是极为苛刻的。
二、 对参数的一个线性组合的假设的检验需要检验的虚拟假设为 0H :21j j ββ=。
比如21ββ=无 法直接检验。
设立新参数211ββθ-=。
原虚拟假设等价于0H :01=θ。
将211βθβ+=代入原模型后得出新模型:u X X X X Y k k ++++++=ββθβΛΛ)(212110 (2)在模型(2)中再利用t 检验方法检验虚拟假设0H :01=θ。
我们甚至还可以检验这样一个更一般的假设 C H k k =+++=βλβλβλΛ11000:λβ t 统计量为 )1(~ˆ2---=-k n t Se t T λX)λ(X λββλ1T三、 对参数多个线性约束的假设检验:F 检验需要检验的虚拟假设为 0H :0,,,021==+-+-k q k q k βββΛ。
该假设对模型(1)施加了q 个排除性约束。
模型(1)在该约束下转变为如下的新模型:u X X X Y q k q k +++++=--ββββΛΛ22110 (3) 模型(1)称为不受约束(ur )的模型,而模型(3)称为受约束(r )的模型。
模型(3)也称为模型(1)的嵌套模型,或子模型。
分别用OLS 方法估计模型(1)和(2)后,可以计算出如下的统计量:())1/(/---=k n RSS q RSS RSS F ur ur r关键在于,不需要满足t 检验所需要的假定(3),统计量F 就满足:1,~--k n q F F 。
利用已知的F 分布函数,我们就可以拒绝或接受虚拟假设 0H :0,,,021==+-+-kq k q k βββΛ了。
所以,一般来讲,F 检验比t 检验更先使用,用的更普遍,可信度更高。
利用关系式)1(2r r R TSS RSS -=,)1(2ur ur R TSS RSS -=,F 统计量还可以写成:())1/()1(/222----=k n R q R R F ur r ur四、 对回归模型整体显著性的检验:F 检验需要检验的虚拟假设为 0H :0,,,021==k βββΛ。
相当于前一个检验问题的特例,k q =。
嵌套模型变为 u Y +=0β。
02=r R ,TSS RSS r =,22R R ur =。
F 统计量变为: )1/(/)1/()1(/22--=---=k n RSS k ESS k n R k R F 五、 检验一般的线性约束需要检验的虚拟假设比如为 0H :0,,,121==k βββΛ。
受约束模型变为:u X Y ++=10β再变形为:u X Y +=-01β。
F 统计量只可用:())1/(/---=k n RSS q RSS RSS F ur ur r 其中,[][]∑∑---=---==-211211)()()()(1X X Y Y X Y X Y TSS RSS i i i i X Y r 。
六、 检验两个数据集的回归参数是否相等:皱(至庄)检验虚拟假定是总体回归系数的真值相等。
步骤如下:(1) 基于两组样本数据,进行相同设定的回归,将二者的RSS 分别记为1RSS 和2RSS 。
(2) 将两组样本数据合并,基于合并的样本数据,进行相同设定的回归,将回归的RSS 记为T RSS 。
(3) 计算下面的F 统计量:)22/()()1/()(212121--+++--=k n n RSS RSS k RSS RSS RSS F T (4) 如果αF F ≥,拒绝原假定。
七、 非正态假定下多个线性约束的大样本假设检验:LM (拉格郎日乘数)检验F 检验方法需要模型(1)中的u 满足正态性假定。
在不满足正态性假定时,在大样本条件下,可以使用LM 统计量。
虚拟假设依然是0H :0,,,021==+-+-k q k q k βββΛ。
LM 统计量仅要求对受约束模型的估计。
具体步骤如下:(ⅰ)将Y 对施加限制后的解释变量进行回归,并保留残差u ~。
即我们要进行了如下的回归估计u X X X Y q k q k ~~~~~22110+++++=--ββββΛΛ (ⅱ)将u ~对所有解释变量进行辅助回归,即进行如下回归估计 εααααˆˆˆˆˆ~22110+++++=k k X X X u ΛΛ并得到R-平方,记为2u R 。
(ⅲ)计算统计量 2u nR LM =。
(ⅳ)将LM 与2q χ分布中适当的临界值c 比较。
如果c LM >,就拒绝虚拟假设0H ;否则,就不能拒绝虚拟假设0H 。
八、 对模型函数形式误设问题的一般检验:RESET如果一个多元回归模型没有正确地解释被解释变量与所观察到的解释变量之间的关系,那它就存在函数形式误设的问题。
误设可以表现为两种形式:模型中遗漏了对被解释变量有系统性影响的解释变量;错误地设定了一个模型的函数形式。
在侦察一般的函数形式误设方面,拉姆齐(Ramsey ,1969)的回归设定误差检验(regression specilfication error test , RESET )是一种常用的方法。
RESET 背后的思想相当简单。
如果原模型(1)满足经典假定(3),那么在模型(1)中添加解释变量的非线性关系应该是不显著的。
尽管这样做通常能侦察出函数形式误设,但如果原模型中有许多解释变量,它又有使用掉大量自由度的缺陷。
另外,非线性关系的形式也是多种多样的。
RESET 则是在模型(1)中添加模型(1)的OLS 拟合值的多项式,以侦察函数形式误设的一般形式。
为了实施RESET ,我们必须决定在一个扩大的回归模型中包括多少个拟合值的函数。
虽然对这个问题没有正确的答案,但在大多数应用研究中,都表明平方项和三次项很有用。
令Y ˆ表示从模型(1)所得到的OLS 估计值。
考虑扩大的模型εδδββββ+++++++=322122110ˆˆY Y X X X Y k k ΛΛ (4)这个模型看起来有些奇怪,因为原估计的拟合值的函数现在却出作为解释变量出现。
实际上,我们对模型(4)的参数估计并不感兴趣,我们只是利用这个模型来检验模型(1)是否遗漏掉了重要的非线性关系。
记住,2ˆY 和3ˆY都只是j X 的非线性函数。
对模型(4),我们检验虚拟假设0,0:210==δδH 。
这时,模型(4)是无约束模型,模型(1)是受约束模型。
计算F 统计量。
需要查3,2--k n F 分布表。
拒绝0H ,模型(1)存在误设,否则,不存在误设。
九、利用非嵌套模型检验函数形式误设寻求对函数形式误设的其他类型(比如,试图决定某一解释变量究竟应以水平值形式还是对数形式出现)作出检验,需要离开经典假设检验的辖域。
有可能要相对模型εββββ+++++=)log()log()log(22110k k X X X Y ΛΛ (5) 检验模型(1),或者把两个模型反过来。
然而,它们是非嵌套的,所以我们不能仅使用标准的F 检验。
有两种不同的方法。
一种方法由Mizon and Richard (1986)提出,构造一个综合模型,将每个模型作为一个特殊情形而包含其中,然后检验导致每个模型的约束。
对于模型(1)和模型(5)而言,综合模型就是++++=k k X X Y γγγΛ110μγγ++++++)log()log(11k k k k X X Λ (6)可以先检验0,,0:10==++k k k H δγΛ,作为对模型(1)的检验。
也可以通过对检验0,,0:10==kH δγΛ,作为对模型(5)的检验。
另一种方法由Davison and MacKinnon (1981)提出。
认为,如果模型(1)是正确的,那么从模型(5)得到的拟合值在模型(1)中应该是不显著的。
因此,为了检验模型(1)的正确性,首先用OLS 估计模型(5)以得到拟合值,并记为Y ˆˆ。
在新模型μθββββ++++++=Y X X X Y k k ˆˆ122110ΛΛ (7) 中计算Y ˆˆ的t 统计量,利用t 检验拒绝或接受假定0:10=θH 。