可得到如下正规方程组：
nˆ1 ˆ2 X 2i ˆk X ki Yi
ˆ1
X 2i ˆ2
X
2 2i
ˆk
X 2i X 3i ˆk
X 2i X ki
X 2iYi
ˆ1
X 3i ˆ2
X 3i X 2i ˆ2
X2 3i
ˆk
X 3i X ki
X 3iYi
ˆ1
如果根据理论，因变量Y与k-1个变量X2，X2，…，Xk 有因果关系，我 们要建立的回归模型要在这些变量中选择正确的解释变量，要根据变量的 边际贡献大小，把贡献大的变量纳入回归模型。分析边际贡献并选择变量 的过程，实际上是一个逐步回归的过程。
首先，分别建立Y与k-1个变量X2，X2，…，Xk 的回归模型：
X ki ˆ2
X ki X 2i ˆk
X ki X 3i ˆk
X2 ki
X kiYi
写成矩阵形式：
n
X 2i
X 3i
X 2i
X 3i
X2 2i
X 3i X 2i
X 2i X 3i X2
3i
X ki
X ki X 2i
X ki X 3i
1
1
1
X 21 X 22 X 23
（2）计算统计量：
t
ˆi Se(ˆi )
（3）查t分布表，找出t (n k)。 2
（4）判断：
t 若
t
t 2 (n k )，则接受H0 , 参数i显著异于0
t
2
(n
k
)，则拒绝H
0
,
接受H1
,
参数
不
i
显著异于0
如果根据理论或常识，i 非负，则可做单侧检验，比较 t 与tα。
若 t t (n k)，则接受H0,参数i不显著异于0 t t (n k)，则拒绝H0 , 接受H1,参数i显著异于0
选择其中ESS最大并通过F检验的变量作为首选解释变量，假定是X2 。
m n-(k+m)
U1/(k-1) U2/(k+m-1) (U2-U1)/m Q/( n-k-m)
TSS
n-1
定义统计量： F (ESS'ESS) / m RSS' /(n k m)
并检验其显著性。
在新引入变量的系数为0的原假设下，
统计量 F (ESS'ESS) / m ~ F (m, n k m) RSS' /(n k m)
βˆ ' X' y nY 2 Y' Y nY 2
1 RSS 1 TSS
uˆi2 yi2
yi2与解释变量X的个数无关，而 uˆi2则可能随着解释变量的增加
而减少（至少不会下降），因而，不同的SRF，得到的R2 就可能不同。
必须消除这种因素，使R2 即能说明被解释的离差与总离差之间的关系， 又能说明自由度的数目。定义校正的样本决定系数 R 2 ：
二、回归的总显著性检验： 检验回归系数全部为零的可能性。
原假设H0 : 1 2 k 0 备择假设H1 : i (i 1,2, , k)不同时为零
方差分析表（ ANOVA)
平方和
df
ESS
(Yˆi Yˆ)2 Y' Y βˆ ' X' Y
k-1
RSS
uˆ2 βˆ ' X' Y nY 2 i
X
31
X 32
X 33
X
k1
Xk2
X 3k
1 Y1
X 2n Y2
X 3n
Y3
X kn Yn
即： (X'X)βˆ X'Y
βˆ (X'X)1 X'Y
X ki ˆ1
X X
2i 3i
X X
ki ki
ˆ2 ˆ3
X2 ki
ˆk
如果直接用矩阵微分，则
uˆ 2 Y' Y 2βˆ ' X' Y βˆ ' X' Xβˆ i
成立。
5、u ~ N (0, 2I)
随机干扰项服从正态分布。
三、多 变量线性回归模型的SRF
SRF :
Yi ˆ1 ˆ2 X 2i ˆ3 X 3i ˆk X ki uˆi
或 Y Xβˆ uˆ
其中βˆ 和uˆ分别为回归系数的OLS估计量的列向量和残差列向量。
第二节 多变量回归模型的OLS估计
n-k
TSS
(Yi Y )2 Y'Y nY2
n-1
均方差
(Y' Y βˆ ' X' Y) /(k 1) (βˆ ' X' Y nY 2 ) /(n k )
如果假定：1 2 k 0，则统计量
ESS /(k 1) (βˆ ' X' Y nY 2 ) /(k 1) F RSS /(n k ) (Y' Y βˆ ' X' Y) /(n k ) ~ F (k 1, n k )
2
n
u2
un
或： Y Xβ u
Y为因变量观测值列向量
在
Y Xβ u 中，X为数据矩阵。
β 为待估计参数列向量
u为随机扰动项列向量
二、多 变量线性回归模型的基本假定
1、 Eu 0
随机干扰项的期望值为0。
u1
2、
E
u
u
'
u2 un
u1
u2
2 0 0 0
0 0
ESS TSS ESS Y'Y nY 2 Y' Y βˆ ' X' y βˆ ' X' Y nY 2
方差分析表（ ANOVA)
平方和
df
ESS
(Yˆi Yˆ)2 Y' Y βˆ ' X' Y
k-1
RSS
uˆ2 βˆ ' X' Y nY 2
i
n-k
TSS
(Yi Y )2 Y'Y nY2
R 2 1 ESS /(n k ) 1 (1 R2 ) n 1
TSS /(n 1)
nk
1
ˆ 2
Se(Yˆ )
三、R2 与 R 2的性质
0 R2 1,
0 R2 1
R 2 R2 , 当k 时，R 2 R2
第四节 显著性检验
一、单参数的显著性检验：
根据假定，u ~ N (0, 2I)，因此ˆ ~ N ( , 2 (X' X)1)
标准差为
(X' X)1
如果 2未知，以 ˆ 2代替 2，则 Var Cov(βˆ )的估计量为：ˆ（ 2 X' X）1
βˆ 的标准差Se(βˆ )为 ˆ（ 2 X' X）1 （X' X）1ˆ
四、OLS估计量 βˆ 的性质：
1、线性 βˆ （ [ X' X）1X' ]Y
2、无偏性 E[βˆ ] β
第三章 多变量回归分析
第一节 多变量线性回归模型
一、多变量线性回归模型的PRF
如果假定对因变量Y 有k-1个解释变量：X2，X3，…，Xk，k 变量总 体回归函数为：
其中PR1为F 常: 数项Y，i 2 ~1 2为2 X解2i释变3量XX3i 2~Xk的系k X数ki ， uui为, i随 1机,2干,扰,项k 。
uˆ 2 i
βˆ
2X' Y 2X' Xβˆ
0
βˆ (X' X)1 X' Y
二、 的估计量
ˆ
uˆ 2 uˆ 'uˆ i
nk nk
ˆ为的无偏估计量：E[ˆ ] 。
三、βˆ 的方差-协方差矩阵
βˆ (X' X)1 X' y (X' X)1 X' (Xβ u) (X' X)1 X' Xβ (X' X)1 X'u β (X' X)1 X'u
Yi a 2 X 2i ui Yi 1 2 X 3i ui
Yi 1 2 X ki ui
回归后， TSS( X 2 ) ESS( X 2 ) RSS( X 2 )
得到各 回归方
TSS( X 3) ESS( X 3) RSS( X 3)
程的平
方和
TSS( X k ) ESS( X k ) RSS( X k )
n-1
均方差
(Y' Y βˆ ' X' Y) /(k 1) (βˆ ' X' Y nY 2 ) /(n k )
判定系数：
二、校正的R2 ：
R2
ESS TSS
βˆ ' X' y nY 2 Y' Y nY 2
由R2的计算式可看出， R2 随解释变量的增加而可能提高（不可能降
低）：
R2
ESS TSS
根据R2 ESS ，F ESS /(k 1) ,TSS ESS RSS
TSS
RSS /(n k)
可得到F
R2 /(k 1) (1 R2 ) /(n
k)
显然，R2 越大，F越大，当R2 =1时，F 无限大。
选择显著水平α ，计算F统计量的值，与F分布表中的临界值进行比
较：
若 F F (k 1, n k)，则接受H0 ,不显著 F F (k 1, n k)，则拒绝H0 , 接受H1,显著
决定一个变量是否引入回归模型，就要先研究它的边际贡献，以正确 地建立模型。如果变量的边际贡献较小，说明改变量没有必要加入模型。
分析变量的编辑贡献，可以使用方差分析表为工具，根据变量引入前、 后的RSS的变化量及其显著性检验（扣除原来引入模型的解释变量的贡 献），确定该变量的边际贡献是否显著。