K
=
(X' X)
β
1
X11
...
X
K1
1 ... 1 Y1
X12
...
X1n
Y2
... ... ... ...
XK2
...
X
Kn
Yn
X'
Y
即 (X' X)β X'Y
β(XX)1XY
15
三. 最小二乘估计量 β 的性质
我们的模型为 YXu
估计式为
Yˆ
Xβ
1．β 的均值
β(XX)1XY
因而 ˆ 是线性估计量。
23
现设 *为 的任意一个线性无偏估计量，即 * cY
其中 c 是一个(K+1)*n非随机元素矩阵。则
* c Y c (X u ) c X c u
E( *) E(c X cu) c X cE(u) cX
显然，若要 * 为无偏估计量，即 E(*) ，只有
问题是选择 ˆ0,ˆ1,....ˆ,k ，使得残差平方和最小。
残差为：
et Yt Y ˆt
Yt ˆ0ˆ1X1t ....ˆKXKt
12
要使残差平方和
S e t2 Y t ˆ 0 ˆ 1 X 1 t ... ˆ K X K t2
为最小，则应有：
S ˆ00 , S ˆ10 , ..., ˆ S K0
、 (6) 两 条 即矩阵X的秩 =（K+1)< n 当然，为了后面区间估计和假设检验的需要，还 要加上一条：
（5） u t ～ N(0,2) ，t=1,2,…n
11
二．最小二乘估计
我们的模型是： Y t 0 1 X 1 t 2 X 2 t . . . k X k t u t t=1,2,…n
E X X 1 X u u X X X 1
X X 1 X E u u X X X 1
X X 1 X 2 In X X X 1 X X 1X X X X 1 2
XX12
20
如前所述，我们得到的实际上不仅是β 的方差，而且是
一个方差-协方差矩阵，为了反映这一事实，我们用下面的 符号表示之：
......
......
β0
Xkt β1
Xkt X1t ......βK
XKt 2
XktYt
按矩阵形式，上述方程组可表示为：
14
n
X1t
...
XKt
X1t X1t 2
...
XKtX1t
...
XKt
β
0
...
...
...
X1t XKt
...
XKt2
β 1
..
β
与双变量线性模型相似， 2的无偏估计量是
ˆ2
et 2
n (K 1)
分母是 et2 的自由度，这是因为我们在估计
的过程中，失去了（K+1）个自由。
β0,β1,.
.β.k
4． 高斯-马尔科夫定理
对于 YXβu 以及标准假设条件（1）-（4），
普通最小二乘估计量是最佳线性无偏估计量（BLUE）
22
我们得到如下K+1个方程（即正规方程）：
13
β0 n
β1 X1t ......βK XKt Yt
β0 X1t β1 X1t2 ......βK X1t XKt X1tYt
β0 X2t β1 X2t X1t ......βK X2t XKt X2tYt
......
......
即 IDXI
因而有 DX 0
cc(XX)1XD(XX)1XD (XX)1XDX(XX)1D
(XX)1XX(XX)1(XX)1XD D X(XX)1D D
由 DX 0从而 XD 0，因此上式中间两项为0，我们有
cc(XX)1D D
26
因此
Var ( *) 2 c c
2 ( X X ) 1 D D
cX I ， I 为（K+1）阶单位矩阵。
24
* 的方差为：
Var ( * ) Var (c X cu)
Var (cu) c Var (u) c
2 cc
我们可将 c 写成 c(XX)1XD
从而将 的任意线性无偏估计量 * 与OLS估计量 ˆ 联系
起来。
25
由 cX I 可推出： (X X ) 1X XD XI
1
X
1
...
1
X 11 X 12 ... X 1n
... ... ... ...
X K1
X
K
2
...
X
Kn
0 1
2
,
...
K
u 1
u
u2
... un
注:转“矩阵代数基础”
7
第二节 多元线性回归模型的估计
多元线性回归模型的估计与双变量线性模型类似，仍采用 OLS法。当然，计算要复杂得多，通常要借助计算机。理论 推导需借助矩阵代数。下面给出普通最小二乘法应用于多元 线性回归模型的假设条件、估计结果及所得到的估计量的性 质。
YY YXβ
30
而
Y Y 2 Y 2 n Y 2 Y Y n Y 2
将上述结果代入R2的公式，得到：
R2 1 Ye2Y2
YY2 e2 YY2
YYnY2(YYYXˆ)
YYnY2
YX ˆ nY 2
YY nY 2
这就是决定系数 R2 的矩阵形式。
31
二．修正决定系数：R 2
残差平方和的一个特点是，每当模型增加一个解 释变量，并用改变后的模型重新进行估计，残差平 方和的值会减小。
在这个模型中，Y由X1、X2、X3、… XK所解释， 有K+1个未知参数β0、β1、β2、…βK 。
这里，“斜率”βj的含义是其它变量不变的情况 下，Xj改变一个单位对因变量所产生的影响。
2
例1： Y β 0 β 1X β 2P u
其中，Y=在食品上的总支出 X=个人可支配收入 P=食品价格指数
我们已在上一段中证明了无偏性，下面证明线性和最小方 差性。证明的路子与双变量模型中类似，只不过这里我们采 用矩阵和向量的形式。
由OLS估计量 ˆ 的公式
β(XX)1XY
可知, ˆ 可表示为一个矩阵和因变量观测值向量 Y 的乘积：
ˆ kY
其中 k(XX)1X 是一个 (K+1)*n 非随机元素矩阵。
17
2．β 的方差
为求Var( β )，我们考虑
Eβ ββ β
这是一个（K+1）*(K+1)矩阵，其主对角线上元素即
构成
Var(
β
)，非主对角线元素是相应的协方差，如
下所示：
18
β0β0
E
β1β1
...
β0β0
βKβK
β1β1
...
βKβK
V a(β r 0)
C
o(vβ1,β0)
...
3
多元线性回归模型中斜率系数的含义
上例中斜率系数的含义说明如下： 价格不变的情况下，个人可支配收入每上升10
亿美元（1个billion），食品消费支出增加1.12亿 元（0.112个 billion）。
收入不变的情况下，价格指数每上升一个点， 食品消费支出减少7.39亿元（0.739个billion）
第四章 多元线性回归模型
简单线性回归模型的推广
1
第一节 多元线性回归模型的概念
在许多实际问题中，我们所研究的因变量的变动 可能不仅与一个解释变量有关。因此，有必要考虑线 性模型的更一般形式，即多元线性回归模型：
Y t β 0 β 1 X 1 t β 2 X 2 t . .β k .X k t u t t=1,2,…,n
由此可以推论，决定系数是一个与解释变量的个 数有关的量：
解释变量个数增加 e2 减小 R2 增大
也就是说，人们总是可以通过增加模型中解释变量 的方法来增大 R2 的值。因此，用 R2 来作为拟合优 度的测度，不是十分令人满意的。
Y=α+βX + u
我们有
R2
1
e2 Y Y2
其中， e2 =残差平方和
28
对于多元线性模型
Y 01 X 1 . ..K X K u
我们可用同样的方法定义决定系数：
R2
解释变差 总变差1
e2 Y Y
2
或 R2 ESS1 RSS TSS TSS
为方便计算，我们也可以用矩阵形式表示R2
29
e 我们有：残差
Y Y
其中， Y X β
残差平方和：
et 2 ee
(Y Y)(Y Y) (YXβ)(YXβ)
(YβX)Y (Xβ)
Y Y β X Y Y X β β X X β
Y Y β X Y Y X β β X X (X X ) 1 X Y
Y Y β X Y Y X β β X Y
C
o(vβK,β0)
Co(vβ0,β1)
Va(β r1)
...
Co(vβK,β1)
... Co(vβ0,βK) ... Co(vβ1,βK)
...
...
...
Va(β r K)
下面推导此矩阵的计算公式.
19
由上一段的结果，我们有 因此
ββ(XX)1Xu
E β β β β E X X 1 X uX X 1 X u
一．假设条件 （1）E(ut)=0, t=1,2,…,n （2）E(ui uj)=0, i≠j （3）E(ut2)=σ2, t=1,2,…,n （4）Xjt是非随机量， j=1,2, … k