第三章 模型中误差项假定的诸问题第一节 广义最小二乘法前面的分析知道,多元线性回归的数学模型可以表示为:12233t t t k kt tY X X X ββββμ=+++⋅⋅⋅++(t=1,2,3,…,n )其中t μ是随机误差项,它代表的是对于t Y 的变化,it X 不能解释的微小变动的全部。
用矩阵表示,则上述回归模型可以表示为:Y X Uβ=+其中,123n Y Y Y Y Y ⎛⎫⎪ ⎪ ⎪= ⎪ ⎪⎪⎝⎭M ,123k βββββ⎛⎫ ⎪⎪ ⎪= ⎪⎪ ⎪⎝⎭M ,213112232223111k k n n kn X X X X X X X X X X ⋅⋅⋅⎛⎫ ⎪⋅⋅⋅⎪= ⎪ ⎪⋅⋅⋅⎝⎭M M M M ,123n u u U u u ⎛⎫⎪⎪ ⎪= ⎪⎪ ⎪⎝⎭M运用最小二乘准则,我们得到的参数的估计量为:()1''ˆX X X Y β-=对于随机误差项t μ,我们所做的假定有三个:零均值、同方差和非自相关。
这三个假定的矩阵表述为:()()()()()12300000n E u E u E U E u E u ⎛⎫⎛⎫ ⎪ ⎪ ⎪ ⎪ ⎪⎪=== ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭M M ,()()()()()()()()()()()11212122122222'2var cov ,cov ,cov ,var cov ,var cov ,cov ,var 10000001000000001000n n n n n u u uu n u u u u u u u u u u u U u u u u u I E UU σσσσσ⋅⋅⋅⎛⎫ ⎪⋅⋅⋅ ⎪= ⎪ ⎪ ⎪⋅⋅⋅⎝⎭⎛⎫⎛⎫⎪ ⎪⎪ ⎪==== ⎪ ⎪ ⎪ ⎪⎪⎝⎭⎝⎭M M M M M M M M M M M 在上述假定条件下,我们得出的参数估计值具有最优线性无偏估计特性。
现实情况的偏离:1、随机扰动项均值不为零时,通过将随机扰动项与常数项结合,不会对估计产生影响。
2、同方差和非自相关假设不满足时,会对最小二乘估计产生重要影响。
因此,不满足假定条件的分析可以归结为同方差和非自相关的偏离。
用矩阵来表示为:()'2uE UU σ=Ω,其中,Ω为n 阶正定矩阵。
当正定对称矩阵已知时,可以通过对给出的模型做变换,使得变换后的模型满足标准线性回归模型的条件,进而,运用最小二估计准则,求出满足最优线性无偏估计特性的参数估计量。
假设有模型YX Uβ=+,其中随机扰动项不满足同方差和非自相关条件,即有()'2uE UU σ=Ω因此,不能直接用最小二乘估计准则进行估计。
现在,由于Ω为n 阶对称正定矩阵,故存在可逆矩阵D 使得下述式子成立:'DD Ω=对原有模型Y X Uβ=+进行变换,即等式两边同时左乘矩阵1D-有:111Y X UD Y D X D Uββ---=+⇒=+令:111,,Y D Y X D X U D U ***---===。
从而,原有模型YX Uβ=+转换为:Y X U β***=+,新模型中的随机扰动项的协方差矩阵为:()()()()()()()()()()()()()'1111111212112111111''''''''''''u u u nn Var U E U U E D U D U E D UU D D E UU D D D D D I DD D D D DD D D D I σσσ***----------------=====Ω=Ω=⎛⎫Ω=⇒Ω= ⎪ ⎪⇒Ω=⎝⎭这样,就可以运用最小二乘法进行估计,并得出参数估计值:()1''ˆX X X Y β*-****=将111,,Y D Y X D X U D U ***---===代入得到: ()()()()()()()()()11''''11111'11'111'1'1ˆ''X X X Y D X D X D X D Y X DD XX D D YX X X Yβ*------****--------====ΩΩ因此,这里我们得出的ˆβ*称为参数的广义最小二乘估计量,很明显,ˆβ*具有最优线性无偏估计量特征。
上述在随机扰动项不满足假定条件的情况下,我们仍然能够得到参数的最优线性无偏估计量的关键是,误差项协方差矩阵 Ω已知,进而我们通过变换和处理使其化为满足假定条件的模型。
现实情况是误差项协方差矩阵 Ω未知。
因此,必须首先对Ω进行讨论。
第二节 序列相关随机扰动项不满足同方差和非自相关条件,即有()'2uE UU σ=Ω。
如果Ω已知,我们仍然能够得到最优线性无偏估计量,在现实情况下,Ω通常未知,首先应该对其进行分析讨论。
因此,对随机扰动项假设不满足的条件的讨论分为两个方面:一个是同方差是否满足,一个是非自相关是否满足。
这两个方面用数学语言来说明,就是讨论误差项协方差矩阵Ω,因为,此矩阵上的主对角线上的元素是方差;非主对角线的元素是协方差,说明的就是误差项之间的关系。
本节先讨论误差项非自相关不满足的情况。
一、误差项之间产生序列相关的原因序列相关的定义:模型中随机误差项不满足关系式:()0t s E μμ=这时称误差项之间存在着序列相关。
误差项存在自相关,主要有如下几个原因。
(1) 模型的数学形式不妥。
若所用的数学模型与变量间的真实关系不一致,误差项常表现出自相关。
比如平均成本与产量呈抛物线关系,当用线性回归模型拟合时,误差项必存在自相关。
(2) 惯性。
大多数经济时间序列都存在自相关。
其本期值往往受滞后值影响。
突出特征就是惯性与低灵敏度。
如国民生产总值,固定资产投资,国民消费,物价指数等随时间缓慢地变化,从而建立模型时导致误差项自相关。
(3) 回归模型中略去了带有自相关的重要解释变量。
若丢掉了应该列入模型的带有自相关的重要解释变量,那么它的影响必然归并到误差项u t 中,从而使误差项呈现自相关。
当然略去多个带有自相关的解释变量,也许因互相抵消并不使误差项呈现自相关。
二、序列相关存在时的回归分析结果与主要影响 1、序列相关的主要形式: 一阶自回归模型:1t t t t t tY X u u u αβρε-=++=+其中,t ε满足条件:()()()2200t tt s E E E εεεσεε===上述模型成为随机误差项的一阶自回归模型(?),是一种重要的自相关模型。
2、序列相关的表现形式:1t t t u u ρε-=+。
分三种情况:相关系数ρ的符号而定。
3、序列相关的回归分析()()12211221322312323123t t tt t t t t t t t t t t t t t t t t t t t t u u u u u u u u u ρερρεεερερερερρεερερερερερερε--------------=+=++=++=+++=+++=++++LL又因为有:()()()2200t t t s E E E εεεσεε===所以有:()()231230t t t t t E u E ερερερε---=++++=L()()()()231232222211t t t t t Var u Var εεερερερεσρρσρ---=++++=+++=-L K进一步,我们可以得到U 的协方差矩阵:212'221231...1...E() =........1n n uu n n n UU ρρρρρρσσρρρ-----⎡⎤⎢⎥⎢⎥=Ω⎢⎥⎢⎥⎣⎦这里有()2221uεσσρ=-。
4、序列存在自相关时,如果继续采用最小二乘法,对模型的估计与检验到来以下的后果: 1、参数估计不再具有最小方差性;2、序列正相关时,即ρ为正值时,最小二乘法估计时的方差偏小,从而t 检验值变大,容易出现拒零假设,从而造成解释变量的人为保留,导致伪回归的危险增大。
3、t 检验和F 检验不能用。
三、序列自相关的检验 1、图示法图示法就是依据残差e t 对时间t 的序列图作出判断。
由于残差e t 是对误差项ut 的估计,所以尽管误差项u t 观测不到,但可以通过e t 的变化判断u t 是否存在自相关。
图示法的具体步骤是,(1) 用给定的样本估计回归模型,计算残差e t , (t = 1, 2, … T),绘制残差图;(2) 分析残差图。
说明是属于:不存在自相关、存在正自相关、存在负自相关。
需要说明的是,经济变量由于存在惯性,所以经济变量的变化常表现为正自相关。
2、DW (Durbin-Watson )检验法DW 检验是J. Durbin, G. S. Watson 于1950,1951年提出的。
它是利用残差e t 构成的统计量推断误差项u t 是否存在自相关。
使用DW 检验,应首先满足如下三个条件。
误差项u t 的自相关为一阶自回归形式。
因变量的滞后值y t-1不能在回归模型中作解释变量。
样本容量应充分大(T > 15) DW 检验步骤如下。
给出假设 H 0: ρ = 0 (u t 不存在自相关) H 1: ρ ≠ 0 (u t 存在一阶自相关) 用残差值 e t 计算统计量DW 。
21221()nt t t n t t e e DW e -==-=∑∑其中分子是残差的一阶差分平方和,分母是残差平方和。
把上式展开,得2211222212nnnt t t t t t t nt t e e e e DW e --====+-=∑∑∑∑.因为有2221221nnntt tt t t eee -===≈≈∑∑∑所以2111222221122222121nnnt t t t t t t t nn t t t t ee e e e DW ee ρ---∧===--==⎛⎫- ⎪⎛⎫ ⎪≈=-=- ⎪⎝⎭ ⎪⎪⎝⎭∑∑∑∑∑因为 ρ 的取值范围是 [-1, 1],所以DW 统计量的取值范围是 [0, 4]。
ρ 与DW 值的对应关系见下表表 ρ 与DW 值的对应关系及意义ρ DWu t 的表现 ρ = 0 DW = 2 u t 非自相关 ρ = 1 DW = 0 u t 完全正自相关 ρ = -1 DW = 4 u t 完全负自相关0 < ρ < 1 0 < DW < 2 u t 有某种程度的正自相关 -1 < ρ < 02 < DW < 4u t 有某种程度的负自相关实际中DW = 0, 2, 4 的情形是很少见的。