则称 x1 , x2 ,...,xl 之间存在严格的共线性关系。 如果l个解释变量存在下列关系：
1 x1i 2 x2i ... l xli ei 0
i 1,2,..,n
则称 x1 , x2 ,..., xl 之间存在近似的共线性关系。
2015/12/26 3
第五讲 共线性与主成分分析的应用
n n n
2
将 x2i x1i 代入上式，则有：
ˆ ) Var ( 1

2 2 n 2 n
2
(x
i 1
n
1i
x1 ) 2
2
n 2 ( x1i x1 ) ( x1i x1 ) ( x1i x1 ) 2 i 1 i 1 i 1

2 n 1 (2k 5) ln Detr k
(k 1) Fi ~ F (k 1, n k ) 2 (1 Ri ) nk
2015/12/26

1

Ri2
t
rij x2 x3xk n k 2 1 r
2 ij x1x2 xk
~ t (n k 2)
2015/12/26 5
第五讲 共线性与主成分分析的应用
二、共线性产生的原因与后果 （二）共线性产生的后果 1、回归参数的估计量不能确定，或者虽然能够 确定，但对样本变化的敏感性极强。 考虑二元线性回归模型： yi 0 1 x1i 2 x2i i 假定存在严格的共线性，即有：x2i x1i 。 以第一个回归系数的OLS估计为例，得到：
对 X 1 , X 2 ,..., X p 作如下的线性组合：
y1 a1 X1 a2 X 2 ... a p X p aT X
现在的任务就是使上式的方差得到最大。
2015/12/26 18
第五讲 共线性与主成分分析的应用
四、主成分分析的应用 4、主成分的推导 T 1）求 y1 a1 X1 a2 X 2 ... a p X p a X 的方 差。得到： Var( y1 ) Var(aT X ) aTVar( X )a aT a

一、共线性问题的由来 关于共线性问题，需要注意以下几点： 1、共线性主要是对解释之间是否存在某种程 度的线性函数关系而言的，它不包括解释之间的非 线性关系。 2、构造计量分析模型时，一般总是假定解释变 量是确定型变量，并且还假定各个变量相互之间在 理论逻辑上不发生某种联系，故此共线性问题实质 上是因样本而引起的。 3、现象之间客观上总会发生这样或那样的联系， 如要坚持保证模型中各个解释变量保持相互独立. 共线性不是有或无的问题，关键是看它们的严 重程度。 2015/12/26 4

T a 在 a 1 的条件下，求上式的极大值。 通过 I a 0 构造拉格朗日函数，很容易得到： 该式具有非零解的充要条件是： I 0 。而 这时候的 恰为协差阵的特征根。
2015/12/26 19
第五讲 共线性与主成分分析的应用
四、主成分分析的应用 4、主成分的推导 总之，从协差阵出发，求出协差阵的特 征根，并按大小顺序进行排列，求出相应于 各特征根的单位化了的特征向量，于是便得 到各个主成分。

2015/12/26 10
第五讲 共线性与主成分分析的应用
三、共线性的诊断与处理 （一）共线性的诊断 2、0阶相关系数矩阵 假定模型中共有k个自变量，计算它们 两两之间的相关系数，然后根据相关系数绝 对值的大小来判定有无共线性问题。

r11 r12 r r22 21 Mr rk1 rk 2

2015/12/26
20
第五讲 共线性与主成分分析的应用
四、主成分分析的应用 5、应用举例：电力供应与需求模型 对于多元回归分析问题，由于涉及到的 解释变量比较多，各解释变量之间可能存在 “共线性”，对整个模型的估计和检验会产 生不利的影响，为此，需要进行变量的筛选 处理。通过主成分分析，能生成新的维数较 少的所谓“主成分”因素，从而有助于进行 统计回归估计。
n
2
(x
i 1
n
1i
x1 )( yi y )
2
2 ( x1i x1 ) 2 ( x1i x1 ) 2 2 ( x1i x1 ) 2 i 1 i 1 i 1

0 0
同样，我们可以验证在存在近似共线性的时候， 模型回归参数的估计不稳定。

2015/12/26 17
第五讲 共线性与主成分分析的应用
四、主成分分析的应用 3、数学模型

设原始数据阵为：
x11 x 21 X x n1
x12 x 22 xn 2
x1 p x2 p ( X , X ,..., X ) 1 2 p x np

2015/12/26 16
第五讲 共线性与主成分分析的应用
四、主成分分析的应用 2、主成分分析的基本思想 主成分分析就是设法将原来众多的、具 有一定相关性的若干个统计指标，通过某种 数学处理方法重新组合成一组新的相互无关 的综合指标。为了达到这一目的，统计上采 用的做法是，对原来的p个指标做线性组合， 并保证组合后的综合指标能够最大限度地反 映原来指标包含的统计信息。然后根据各个 新的综合指标的方差的大小，来判别主成分 的顺序。
yt yt 1 1 ( x1t x1(t 1) ) 2 ( x2t x2(t 1) ) ( t t 1 )
利用差分变换时一定要注意：（ 1 ）该方法仅 适应于时间序列资料，截面样本不能用这种方法来 处理。（2）差分变换虽然消除了共线性，但会引起 自相关关系。（3）差分变换会导致样本数目减少。
2015/12/26
r1k 1 r r2 k 21 rkk rk 1
r12 1 rk 2

r1k r2 k 1
11
第五讲 共线性与主成分分析的应用
三、共线性的诊断与处理 （一）共线性的诊断 3、法勒（V.Farrar）-格罗珀(G.Glauber) 检验。 法勒-格罗珀判断共线性的方法，主要是 通过一系列假设检验进行的。
12
第五讲 共线性与主成分分析的应用

三、共线性的诊断与处理 （二）共线性的处理 1、不作处理 对于下列情况，即使存在共线性问题也可不作处 理： （1）共线性不严重，不会从根本上给模型估计带 来灾难性后果。 （2）模型总体拟合优度系数大于任何一个自变量 对于其他自变量回归的拟合优度系数。 （3）在进行预测和估计时，样本中的共线性关 系只要始终存在也可对共线性问题不作处理。
2015/12/26 13
第五讲 共线性与主成分分析的应用
三、共线性的诊断与处理 （二）共线性的处理 2、增加补充资料 共线性多半是因样本缘故而引起的，因 此，在原来的资料中再增加一些不含共线性 特征的数据，可能会降低共线性的干扰。另 外，从一般的统计理论角度看，扩大样本观 察范围，肯定会减小模型中参数估计量的方 差。 3 、充分利用先验信息 2015/12/26 14

ˆ 1
(x
i 1
n
2i
x2 )
2
(x
i 1
n
1i
x1 )( yi y ) ( x1i x1 )(x2i x2 ) ( x2i x2 )( yi y )
i 1 i 1 n n 2
n
n
2 2 ( x x ) ( x x ) ( x x )( x x ) 1i 1 2i 2 1i 1 2i 2 i 1 i 1 i 1
2015/12/26 2
第五讲 共线性与主成分分析的应用
一、共线性问题的由来 yi 0 1x1i 2 x2i ... k xki i 对于多元线性回归模型： 其中涉及的解释变量共有k个，若有：

1 x1i 2 x2i ... l xli 0
i 1,2,..,n
2015/12/26 7
第五讲 共线性与主成分分析的应用

二、共线性产生的原因与后果 （二）共线性产生的后果 2、参数估计量的方差很大，甚至趋于无穷大。
ˆ ) Var( 1
2 ( x 2i x 2 ) 2
i 1
n
2 2 ( x x ) ( x x ) ( x x )( x x ) 1i 1 2i 2 1i 1 2i 2 i 1 i 1 i 1
2015/12/26
9
第五讲 共线性与主成分分析的应用
三、共线性的诊断与处理 （一）共线性的诊断 1、显著性比较法 根据定性分析，如果能够肯定某个自变 量对因变量的影响很大，但具体得到的样本 回归系数不那么显著，则说明样本资料中可 能存在着共线性问题。如果拟合优度系数R2的 值很大，但模型中却有部分参数未通过显著 性检验，这也意味着有共线性存在。
2015/12/26 15
第五讲 共线性与主成分分析的应用
四、主成分分析的应用 1、主成分分析的含义 将多个可能存在相互关系的统计指标， 设法转化为少数几个不相关但又能最大程度 地反映原来统计指标所含有的统计信息的统 计分析方法。 主成分分析的基本作用：一是对数据资 料进行必要的压缩，二是对数据本身蕴涵的 信息进行挖掘和解释。
n
2015/12/26
6
第五讲 共线性与主成分分析的应用

二、共线性产生的原因与后果 （二）共线性产生的后果 将 x2i x1i 作代入处理：
ˆ 12源自 (xi 1n
1i
x1 )
n
2
(x
i 1