Variance Variable DF Estimate |t| Inflation Intercept 1 -10.12799 <.0001 0 x1 1 -0.05140 0.4883 185.99747 x2 1 0.58695 0.0004 1.01891 x3 1 0.28685 0.0263 186.11002
FG test results

fg=20.488013401 p=0.0001344625； 拒绝零假设，认为存在多重共线性。 具体那些变量之间存在多重共线性，除了 上面提到的辅助回归的方法外，还有以下 提到的条件数检验和方差膨胀因子法。
多重共线性检验方法： （4）特征值分析法所用的检验统计指标


如果样本的可决系数R-square 比较大，且回归 系数几乎没有统计上的显著性，则可认为存在 多重共线性。 Theil 提出了一个指标：多重共线性效应系数
Theil 指标 R 2 (R 2 R 2 ); j
j 1 p
R 2 去掉x j 后的回归方程的可决系数; j 若该系数接近于0，则认为不存在多重共线性； 接近于1，存在多重共线性。


为第k各自变量和其 余自变量回归的可决系数. VIF>10,有多 重共线性;TOL=1/VIF; 条件指数: C i i
VIFk (1 R )
2 k
1
;
R
2 k
min

条件数:
C
max min
;C>20,共线性严重.
多重共线性的检验和补救




Sas 程序







data ex01; input x1 x2 x3 y@@; label x1="国内生产总值"; label x2="存储量";; label x3="消费量"; label y="进口总额"; cards; 149.3 4.2 108.1 15.9 161.2 4.1 114.8 16.4 171.5 3.1 123.2 19.0 175.5 3.1 126.9 19.1 180.8 1.1 132.1 18.8 190.7 2.2 137.7 20.4 202.1 2.1 146 22.7 212.4 5.6 154.1 26.5 226.1 5.0 162.3 28.1 231.9 5.1 164.3 27.6 239.0 0.7 167.6 26.3 ; run;
主分量回归结果
Obs _MODEL_ _TYPE_ _DEPVAR_ _PCOMIT_ _RMSE_ Intercept x3 y 1 MODEL1 PARMS y 10.1280 -0.05140 0.58695 0.28685 –1 2 MODEL1 IPCVIF y 0.25083 1.00085 0.25038 –1 3 MODEL1 IPC y 9.1301 0.07278 0.60922 0.10626 –1 4 MODEL1 IPCVIF y 0.24956 0.00095 0.24971 -1 5 MODEL1 IPC y -7.7458 0.07381 0.08269 0.10735 -1 x1 x2 0.48887 1 1 2 2 1.05206 0.55001 -
ห้องสมุดไป่ตู้
Sas 程序






/*theil test*/; proc reg data=ex01; equation3:model y=x1 x2; equation2:model y=x1 x3; equation1:model y=x2 x3; run;/*r-.9473;r3s=0.9828*/; data theil; rsq=0.9919;r1s=0.9913;r2s= 0.9473;r3s=0.9828; theil=rsq-(3*rsq(r1s+r2s+r3s));put theil=; run; /*辅助回归检验法*/; proc reg data=ex01; equation3:model x3=x1 x2; equation2:model x2=x1 x3; equation1:model x1=x2 x3; run;
例一:进口总额和三个自变量之间回归; Sas 结果如下:Pearson Correlation Coefficients, N = 11 Prob > |r| under H0: Rho=0 x1 x2 x3 x1 1.00000 0.02585 0.99726 GDP 0.9399 <.0001 x2 0.02585 1.00000 0.03567 存蓄量 0.9399 0.9171 x3 0.99726 0.03567 1.00000 总消费 <.0001 0.9171

从上面可以看出x1和x3线性相关严重.
多重共线性的检验和补救


(2)回归结果:
Parameter Estimates Parameter Error 1.21216 0.07028 0.09462 0.10221 Standard t Value -8.36 -0.73 6.20 2.81 Pr >
rank( X X ) k
多重共线性的后果



1.存在完全多重共线性时,参数的估计值 无法确定,而且估计值的方差变为无穷大. 2.存在不完全多重共线性时,可以估计参 数值,但是数值不稳定,而且方差很大. 3.多重共线性会降低预测的精度,甚至失 效,增大零假设接受的可能性(t值变小).
多重共线性的检测方法 (1)样本可决系数法
辅助回归检验结果

Sas 结果：
F1 739 .99( prob 0.01); R12 0.9946 ; F2 0.0186 ( prob 0.9278 ); R12 0.0186 ; F3 740 .44( prob 0.01); R32 0.9946 ;


Klein经验法则：若存在一个i,使得 R(i)-square>R-square,则认为多重共线 性严重；本例中x1,x3有多重共线性。
多重共线性检验方法 （3）样本相关系数检验法
两个变量xi 和x j 之间的相关系数 rij , 如果rij 较大，则认为存在多重共线性； 进一步，rij R 2 , 共线性严重。 H 0 : det(R ) 1; H a det(R ) 1; 1 检验统计量：FG (T 1 ( 2 p 5) log(det(R )); 6 FG 2 (0.5 p ( p 1)); 如果拒绝H 0，则认为有多重共线性； 否则不存在；


若存在多重共线性，则至少有一个解释变量可精确或 近似地表示为其余皆是变量的线性组合。 相应的检验统计量为：
2 i
R /( p 1) Fi F ( p 1, T p) 2 (1 Ri ) /(T p) R 为第i个自变量对其余解释变量的回归
2 i
的可决系数; 若显著则存在多重共线性； 则可认为xi 是造成多重共线性的原因；
Theil test results

Sas 结果：
R 0.9919 ; R 0.9913;
2 2 1
R 0.9473; R 0.9828
2 2 2 3
theil effects coefficien t 0.9376 1

结果表明有多重共线性。
多重共线性检测方法 （2）辅助回归检验法
主分量回归结果

由输出结果看到在删去第三个主分量 （pcomit=1)后的主分量回归方程：
Y=-9.1301+0.07278x1+0.60922x2+0.10626x3;


该方程的系数都有意义，且回归系数的方差膨 胀因子均小于1.1；主分量回归方程的均方根 误差（_RMSE=0.55) 比普通OLS方程的均方根 误差（_RMSE=0.48887) 有所增大但不多。






proc corr data=ex01; var x1-x3; run; *岭回归*; proc reg data=ex01 outest=ex012 graphics outvif; model y=x1-x3/ridge=0.0 to 0.1 by 0.01; plot/ridgeplot; run; proc print data=ex012;run; *主分量回归法*; proc reg data=ex01 outest=ex103; model y=x1-x3/pcomit=1,2 outvif;*pcomit表示删去最后面的1或 2个主分量,用前面m-1或 m-2各主分量进 行回归*; run; proc print data=ex103;run;
岭回归

岭回归估计: b(k ) ( X X kI) 1 X Y K=0, b(k)=b即为OLSE; K的选取: min [(b(k ) )(b(k ) )] k 即使b(k)的均方误差比b的均方误差小.
岭迹图
岭回归结果
Obs _MODEL_ _TYPE_ _DEPVAR_ _RIDGE_k _PCOMIT_ _RMSE_ Intercept y 1 MODEL1 PARMS y -0.051 0.58695 0.287 -1 2 MODEL1 RIDGEVIF y 0.00 185.997 1.01891 186.110 –1 3 MODEL1 RIDGE y 0.00 -0.051 0.58695 0.287 –1 4 MODEL1 RIDGEVIF y 0.01 8.599 0.98192 8.604 -1 5 MODEL1 RIDGE y 0.01 9.1805 0.046 0.59886 0.144 –1 6 MODEL1 RIDGEVIF y 0.02 2.858 0.96219 2.859 -1 7 MODEL1 RIDGE y 0.02 0.057 0.59542 0.127 -1 8 MODEL1 RIDGEVIF y 0.03 1.502 0.94345 1.502 -1 9 MODEL1 RIDGE y 0.03 8.7337 0.061 0.59080 0.120 -1 10 MODEL1 RIDGEVIF y 0.04 0.979 0.92532 0.979 -1 11 MODEL1 RIDGE y 0.04 0.064 0.58591 0.116 -1 x1 x2 0.48887 方差膨胀因子 0.48887 -10.1280 x3 -10.1280