第四章 多重共线性
2019年4月26日 山东财经大学统计学院计量经济教研室
第9页
机动 目录 上页 下页 返回 结束
二、 多重共线性产生的原因
由于经济现象的变化涉及多个影响因素,而影 响因素之间常常存在一定的相关性。多重共线性产 生的经济背景主要有几种情形:
1.经济变量之间具有共同变化趋势。
例如,对于收入、消费、就业率等变量,都随宏观 经济的繁荣和紧缩呈现大致相同的波动,在经济上升 时期均呈现增长的趋势,当经济收缩期都呈现下降趋 势。当这些变量同时作为解释变量进入模型时就可能 带来多重共线性问题。
2019年4月26日 山东财经大学统计学院计量经济教研室
第6页
机动 目录 上页 下页 返回 结束
我们只能估计出系数的线性组合 (?1 ? 2? 2) 的样本 估计值,而无法得到 ?1和? 2 的具体估计。且可以证明
参数估计量的方差为无穷大。
? ? ? ? var(??1) ?
( x1i ? x1 )2
yi=?0+?1x 1i+?2x 2i+? +? kxki+ui i=1,2,…,n
如果存在某解释变量是其他解释变量的线 性组合,则称为存在完全多重共线性(Complete Multicollinearity, Exact Multicollinearity)
即:若存在一组不全为零的常数 ?0 , ?1, ?2 , , ?k
??1 x1n x2n ?
xk1 ?
xk1
? ?
??
xkn
? ?n?
(
k
?
1)
当存在完全共线性时: rank(X)<k+1,即
在数据矩阵X中,至少有一列向量可由其他 列向量线性表示。
2019年4月26日 山东财经大学统计学院计量经济教研室
第5页
机动 目录 上页 下页 返回 结束
需要强调的是模型中存在完全的多重共线性非 常罕见,一般来讲,通常发生在确定回归变量出错 的时候,即模型中变量选择出现逻辑错误。
第四章 多重共线性
多重共线性(Multicollinearity)一词由弗里希 (Ragnar Frisch,1895—1973)于1934年引入。
原意是指回归模型中的部分或全部解释变量 之间存在完全的线性关系,是对假定MLR.3的违 背,后来人们将这个概念扩展到近似的线性关系。
多重共线性是多元回归建模过程中最常遇到 的问题。本章中我们首先分析与界定完全多重共 线性与多重共线性,探讨多重共线性可能引起的 后果,然后介绍多重共线性的诊断与缓解多重共 线性的补救措施。
2019年4月26日 山东财经大学统计学院计量经济教研室
第1页
机动 目录 上页 下页 返回 结束
学习目标: 1、了解多重共线性的概念、能区分完全的多重 共线性与多重共线性; 2、了解多重共线性产生的原因; 3、理解多重共线性引起的后果; 4、理解并掌握多重共线性的诊断; 5、掌握缓解多重共线性问题的处理方法。 重点与难点:
无法估计 ??
var(??j )
?
( X'X
)
? ? 1
jj
2 u
;
也没法计算。
2019年4月26日 山东财经大学统计学院计量经济教研室
第8页
机动 目录 上页 下页 返回 结束
(二)近似(但不完全)多重共线性。 一般的,若解释变量之间无准确的或完全的线性相
关关系,但它们之间存在高度的线性相关性,称模型存 在近似(不完全)多重共线性( Near Multicollinearity )。
理解多重共线性是一种样本现象; 深刻理解多重共线性的理论后果与实际后果; 掌握多重共线性的诊断及多重共线性问题的 处理方法。
2019年4月26日 山东财经大学统计学院计量经济教研室
第2页
机动 目录 上页 下页 返回 结束
第一节 多重共线性问题及其对建模的影响
一、多重共线性的含义
广义的多重共线性包括完全多重共线性和近似 多重共线性。狭义的的多重共线性指的是近似多 重共线性。如果不特加说明,本章使用的是狭义 的多重共线性。
(一)完全多重共线性
多元线性回归模型的古典假定MLR.3是,模型 中解释变量之间不存在完全的线性相关关系,此
2019年4月26日 山东财经大学统计学院计量经济教研室
第3页
机动 目录 上页 下页 返回 结束
时就称解释变量 x j ( j ? 1,2,..., k ) 之间不存在
完全的多重共线性。
对于模型
使得: ?0 ? ?1x1 ? ?2 x2 ? ? ? k xk ? 0
2019年4月26日
?0
山东财经大学统计学院计量经济教研室
第4页
机动 目录 上页 下页 返回 结束
则称模型存在完全多重共线性。
用矩阵表示,解释变量的观测值矩阵为
?1 x11 x21 ?
X
?
??1 ??
x12 ?
x22 ?
? ?
?
x1
(x1 ? ) ] ? 2 2
4[
x1
)2 ( x1i
?
x1
)2 ]2
??2
?
?
同理,可以证明 var(??2 ) ? ?
2019年4月26日 山东财经大学统计学院计量经济教研室
第7页
机动 目录 上页 下页 返回 结束
用矩阵代数的术语来讲,由于参数的 OLSE为
?? ? ( X'X )?1 X'Y 在完全多重共线性时, X降秩, ( X'X )?1 不存在,故
即若存在存在一组不全为零的常数 ?0 ,?1, ,?k ,使得 ?0 ? ?1x1 ? ?2 x2 ? ? ?k xk ? v ? 0
其中 v 是随机项。称自变量之间存在(但不完全)多重 共线性。本章就是在这个意义上使用“多重共线性”一词 的。
值得强调的是,模型存在(近似)多重共线性并不 违反任何古典假定,但会对回归分析带来不利的后果, 所以要尽力避免自变量之间存在过高的共线程度。
多元线性回归模型中如果存在完全多重共线性, 则参数的最小二乘估计量是不确定的(即无法估计)。 例如二元线性回归模型
yi ? ? 0 ? ?1x1i ? ? 2 x2i ? ui
(4.2)
如果有 x2i ? 2x1i ,则(4.2)式可写为:
yi ? ? 0 ? (?1 ? 2? 2)x1i ? ui
( x1i ? x1 )2Fra bibliotek??2
(x2i ? x2 )2 ? [ (x1i ? x1 )( x2i ? x2 )]2
? ? ? ? ? 4
(x1i ? x1 )2
( x1 ? x1 )2
??2
(x1i ? x1 )2 ? 4[
(x1i ? x1 )( x1i ? x1 )]2
? ? ? ? 4[
( x1i