当前位置:文档之家› 第六章 多重共线性

第六章 多重共线性


假定2 假定2 同方差假定:Var(u 同方差假定:Var(ui)= σ u 2, i=1,2,…n i=1,2,… 上式表明,各次观测值中u 上式表明,各次观测值中u具有相同的方差, 即各次观测所受到的随机影响的程度相同, 称为等方差性。 违反假定:异方差
假定3 假定3 无自相关假定: Cov(ui, uj)=0, i ≠ j, i,j=1,2…..n i,j=1,2… 表明任意两次观测的u 表明任意两次观测的ui, uj是不相关的,即 u在某次的观测值与任何其它次观测中的 值互不影响,称为无序列相关性。 等方差性和无序列相关性称为高斯— 等方差性和无序列相关性称为高斯—马 尔柯夫(Gauss-Markov)假定。 尔柯夫(Gauss-Markov)假定。 违反假定:自相关
注意 接近共线性并未破坏最小二乘估计量的最 小方差性:在所有线性无偏估计量中,OLS 小方差性:在所有线性无偏估计量中,OLS 估计量的方差最小。 最小方差并不意味着方差值本身也比较小。
注意 即使变量总体之间不线性相关,但却可 能与某一样本线性相关 多重共线性本质上是一个样本(回归) 现象。 原因:大多数经济数据不是通过试验获 得。如:国民生产总值、价格、失业率、 利润、红利等,是以其实际发生值为依 据,而并非试验得到。
这个指标度量方差增加的速度
R2 和 VIF 当 R2 增加时, VIF也随着增加 VIF也随着增加
如果大于10 如果大于10 ,就表明有问题
R
2 2
0 1
0.5 2
0.8 5
0.9 10
0.99 100
VIF=1/(1- R )
注意 R2较高,标准差未必一定大。也就是说它 不一定扩大估计量的标准差。 辅助回归方程的R 辅助回归方程的R2可能只是多重共线性的 一个“表面指示器” 一个“表面指示器”。 更正规的表述为:“较高的R 更正规的表述为:“较高的R2既不是较高 标准差的必要条件也不是充分条件,多重 共线性本身并不必然导致较高的标准差。” 共线性本身并不必然导致较高的标准差。”
假定4 假定4 随机项与自变量不相关: Cov(ui, x1i)=0; Cov(ui, x2i)=0 )=0; 区分随机项u与每个自变量各自对y 区分随机项u与每个自变量各自对y的影响。 如果x是非随机变量,即x 如果x是非随机变量,即x是在重复抽样中 取某固定值,该条件自然满足。
假定5 假定5
变量之间有共同的时间趋势 模型的过定( overdetermined) overdetermined)
解释变量的数目多于观测的数目。
多重共线性的理论后果 在存在高度多重共线性的情形下,即使多 元回归方程的一个或者多个偏回归系数是 统计不显著的,普通最小二乘估计量仍然 是最优线性无偏估计量。
注意 无偏性是一个重复抽样的性质,即:保持X 无偏性是一个重复抽样的性质,即:保持X 不变,如果得到一些样本并用OLS计算这些 不变,如果得到一些样本并用OLS计算这些 样本估计量,则其平均值收敛于估计量的 真实值。但这并不是某个样本估计值的性 质,在现实中,我们经常无法得到大量的 重复样本。
总结
检验多重共线性有许多种不同的方法, 但却没有一种检验方法能够使我们彻底 解决多重共线性问题。 多重共线性是一个程度的问题,它是与 样本相关的一种现象。 有时我们必须综合运用以上各种手段来 诊断多重共线性的严重程度。 总之,没有一个简单的办法判断多重共 线性问题。
补救措施 如果t统计量大于2 如果t统计量大于2,就不用担心 如果回归的 R2大于任何一个 X对其余 Xs回 Xs回 归的R 归的R2 ,就不用担心 如果仅仅是对预测感兴趣,并且解释变量 的线性组合在未来仍然延续,就不用担心
Y = 24.45 + 0.51X1 (3.81) (14.24) R2= 0.96
收入变量是高度显著的,但是在前一个模型中 是不显著的
例:消费函数 Y 只对财富回归:
Y = 24.41 + 0.05X2 t (3.55) (13.29) R2 = 0.96 财富变量也是高度显著的,但是在前一个模型 中是不显著的
X1 X2 X3 10 50 52 15 75 75 18 90 97 24 120 129 X1 和 X2 是完全线性相关的:
X2 = 5X1
完全多重共线性 若X2 = 5X1 将其代入Y 将其代入Y’=b0 ’ +b1 ’ X1+b2 ’ X2 +b3 ’ X3 Y’=b0 ’ +b1 ’ X1 +b2 ’ * 5X1 +b3 ’ X3 = b0 ’ +(b1 ’ + 5b2 ’ ) X1 +b3 ’ X3 = b0 ’ +A X1 +b3 ’ X3 三变量模型 无法从A值中得到b 无法从A值中得到b1 ’ 、b2’的值
检验方法4 检验方法4 方差膨胀因素(Variance 方差膨胀因素(Variance inflation factor )
var(b j ) =
σ u2
∑X
2 jt
(1 − R 2 ) j
=
σ u2
∑X
2 jt
VIF
VIF =
1 1 − R2 j
其中 R2j 是Xj对其他X的辅助回归的判决系数 对其他X
2、获取额外的数据或者新的样本 有些情况下,通过获得额外的数据(增加 样本容量)就能削减共线性的程度。
var(b j ) =
σ u2
∑ X 2jt (1 − R 2j )
=
σ u2
∑ X 2jt
VIF
获取额外的数据或者新的样本 既然多重共线性是一个样本特征,那么在 包括同样变量的另一样本中,共线性也许 不象第一个样本那样高。 关键是能否获得另一个样本,因为收集数 据的费用很高。
F = [R2/(k-1)] /[(1-R2)/(n-k)] /(k- /[(1- )/(nk 是 X的数目 如果F 如果F大于临界值,则 R2 是显著区别于0的 是显著2, 考虑Y对X1,X2, X3,X4,X5、 X3,X4,X5、 X6这6个解释变量 X6这 的回归 辅助回归:用R 辅助回归:用R12 表示X1对其余X 表示X1对其余X 的回归的判决系 数……
检验方法1 检验方法1 R2较高但t值显著的不多。这是多重共线 较高但t 性的“经典” 性的“经典”特征。
检验方法2 检验方法2 解释变量两两高度相关。
逐对检查解释变量之间的相关系数 这些仅仅是一些有用的指示,经过这些探查后 可能还会有多重共线性 解释变量的组合或许具有相关性
检验方法3 检验方法3 辅助或从属回归:将每个变量对其他剩 余变量回归并计算相应的R 余变量回归并计算相应的R2 值,其中每 一个回归都被称作是从属或者辅助回归。 然后用F 然后用F test 检验 R2 是否显著地区别于0 是否显著地区别于0
解释变量之间不存在线性相关关系,即 任意两个解释变量之间无确切的线性关 系。 用统计学语言,称为非共线性或非多重 共线性。 非完全共线性是指变量不能完全表示为 其他变量的完全线性函数。 违反假定:多重共线性
完全多重共线性
完全共线性(Perfect collinearity)的例子 完全共线性(Perfect collinearity)的例子 :
补救措施(经验法则) 从模型中删除不重要的解释变量 获取额外的数据或者新的样本 重新考虑模型 先验信息 变量变换 其他补救措施
1、从模型中删除不重要的解释变量
对待严重的多重共线性问题,最简单的 解决方法就是删除一个或多个共线性变 量。
导致“模型设定误差” 导致“模型设定误差”,参数估计量可能是 有偏的。 建议不要仅仅因为共线性很严重就从一个经 济上可行的模型中删除变量。所选模型是否 符合经济理论是一个重要的问题。
消费支出对于收入和财富的回归方程 40个观察值: 40个观察值: Y=2.0907+0.7299 X1 +0.0605 X2 t= (0.8713) (6.0014) (2.0641) R2 =0.9672
3、重新考虑模型 模型的不恰当设定可能是回归模型存在共 线性的原因。
多重共线性的性质
可以获得原始系数的一个线性组合的估 计值。 当解释变量之间存在完全线性相关或完 全多重共线性时,不可能获得所有参数 的唯一估计值。 既然我们不能获得它们的唯一估计值, 也就不能根据某一样本做任何统计推论 (也即假设检验)
多重共线性的原因 例:消费函数 Y = b0 + b1X1 + b2X2 X1 = income ; X2 = wealth X2 = 5X1 Y = b0 + b1X1 + b2 5X1 Y = b0 + (b1 + 5b2)X1
多重共线性的原因
所用的数据收集方法
例:在X 例:在X的一个限定的范围内抽样
有关被抽样总体的约束:
例:具有高收入的人倾向于有更多的财富
也许有关低收入的富有的人和高收入的没钱人的 数据不够充足。
多重共线性的原因 模型设定: 模型设定:
例: 在模型中加入多项式项,特别是当X的取 在模型中加入多项式项,特别是当X 值范围很小的时候。
多重共线性的实际后果 OLS估计量的方差和标准差较大。也就 OLS估计量的方差和标准差较大。也就 是说,OLS估计量的精确度下降。 是说,OLS估计量的精确度下降。 置信区间变宽。 t值不显著, R2较高。 OLS估计量及其标准差对数据的微小变 OLS估计量及其标准差对数据的微小变 化非常敏感,也就是说它们趋于不稳定。 回归系数符号有误。 难以衡量各个解释变量对回归平方和 (ESS)或R2的贡献。 ESS)或R
两个变量是如此地高度相关,以至于不能将二 者的效应分离出来。
例:消费函数 如果将 X2 对 X1 回归,得到:
X2 = 7.54 + 10.19X1 (0.26) ( 62.04) R2 =0 .99 表明,在 X1 和 X2之间有近乎完全的线形关系
相关主题