15
3.2最小二乘估计量的统计特性
• 线性性 • 无偏性
• 最小方差性（有效性）
• 高斯－马尔可夫（Gauss-Markov）定理
假定条件（与一元线性回归模型相似）
假定1： 所有解释变量都为可控变量或确定性变量
假定2： E(ui) = 0 i＝1,2…n
u1 E (u1 ) 0 u E (u ) 0 2 E ( u) E 2 0 u E ( u ) 0 n n
1 X 11 X 21 X k1
1 Yi X 11 X 1iYi X 21 X kiYi X k1
Xk2
1 1 X 1n 1 X 2n 1 X kn
X k1 0 u1 Xk2 u2 1 X kn n( k 1) k ( k 1)1 un ( n1)
因此： 这个模型相应的矩阵表示形式为：Y
x。 x k1 21 x 22 x k 2 x 2 n x kn
y1 y 2 x ji X ji X j (i 1,2,, n, j 1,2,, k y 14 y n
例题3.1 美国黑人女性工人收入与受教育年 数、工作经验之间的数量关系（P58-59）
ˆ +β ˆX + β ˆ X +...+ β ˆ X +e Yi = β 0 1 1i 2 2i k ki i
ˆ e Y Xβ
ˆ + ˆX + ˆ X +...+ ˆX ˆ = Y i 0 1 1i 2 2i k ki
ˆ ˆ Xβ Y
其中：
ˆ Y 1 Y ˆ ˆ 2 Y ˆ Yn n1 ˆ 0 ˆ ˆ 1 β ˆ k ( k 1)1
= X + U
0 u1 u 1 β u 2 u n ( n1 ) k ( k 1） 1
2、总体回归函数 E(Y) = 0 +1X1 +…+ kX k 矩阵形式为： E(Y) = X 3、样本回归模型 矩阵形式为： 4、样本回归函数 矩阵形式为：
ˆ 1 ˆ 2 ˆ k
x11 x x 12 x 1n
(0) ˆ ( xx) 1 xy ˆ Y ˆ X ˆ X 0 1 1 k k
（推导过程见P57）
这里 ˆ (0)
n
x x
i 1
n
i 1 n 2 1i i 1
x2i
2 2i
( x1i x2i ) 2
i 1
n
其中
ˆ Y ˆ X ˆ X 0 1 1 2 2
x ji X ji X j ( j 1,2)
yi Yi Y
13
几个常用的结论
① 残差的均值
1 n e ei 0 n i 1
ˆ X' Y X' Xβ
β的最小二乘（OLS）估计量为：
ˆ (X' X) 1 X' Y β
对于一元回归模型：
Y1 Y2 Y Y n ( n1)
1 X1 1 X2 X 1 X n n 2
wage 0 1edu 2 sex 3race 4 ability 5 work ui
其中，0为截距， 1、 2、3、4和5称为偏回归系数， 表示其他因素不变的情况下，对应解释变量的变化对被解 释变量的影响。 例如， 3反映了在性别、种族、工作经验和个人能力 不变的情况下，受教育年限每增加1年，每小时收入增加 3美元。
表示被解释变量样本观测值的拟合值的列向量；
表示未知参数估计值的列向量；
e1 e e 2 en n1
表示残差（随机误差项估计值）的列向量。
偏回归系数的解释 对总体回归函数
E(Y ) 0 1 X1 2 X 2 k X k
X 21 X 22 X 2n
X 31 X 32 X 3n
X k1 X k2 X' X X kn
于是有：
1 X 12 X 22 Xk2
1 Y 1 X 1n Y 2 X 2n X' Y Y n X kn
Y1 Y Y 2 Y n ( n1 )
1 X 11 1 X 12 X 1 X 1n X 21 X 22 X 2n X 31 X 32 X 3n X k1 Xk2 X kn n( k 1)
1 X' X X 1
1 X2
1 X1 1 1 X 2 n X Xn i 1 X n
1 X2
X X
i 2 i

1 X 'Y X 1
Y1 1 Y2 Yi X Y Xn i i Y n
偏回归系数 j （j 1,2,, k）的意义：在保持其他解释变 量不变的条件下，解释变量Xj增加一个单位，平均来说， j 反映了Xj的单位 被解释变量Y增加βj个单位。 也就是说， 变化对被解释变量Y 的“净”影响（不含其他变量的影响） 程度。 一点说明：
对偏回归系数的解释是在保持其他解释变量不变的条件下进行的， 若不能做到这一点，也就是说，当解释变量Xj的取值变化时有别的解 释变量在同一观测点处的取值也随着变化，那么 响程度。
ˆ β ˆ X β ˆ ˆ nβ 0 1 1i 2 X 2 i βk X ki Yi 整理得： β ˆ ˆ X2 β ˆ ˆ X β 0 1i 1 1i 2 X 2 i X 1i βk X ki X 1i X 1iYi β 2 ˆ ˆ X X β ˆ ˆ X β X X β X k ki X kiYi 0 ki 1 1i ki 2 2i ki
i 1 i 1i n i 1 2 2i i 1 i 2i i 1
n
n
n
n
1i 2 i
x
x x
n
i 1
2 1i
n
ˆ 2
y x x y x x
i 1 i 2i
i 1 n
2 2i
2 1i
( x1i x2i ) 2
i 1 n
n i 1 i 1i i 1 1i
ˆ ˆ X ˆ X ˆ X )2 (Yi 0 1 1i 2 2i k ki
i 1
n
根据多元函数求极值的必要条件， 性方程组：
ˆ , ˆ ,, ˆ 应满足下列线 0 1 k
Q ＝0，i 0,1, , k ˆ i
即：
Q ˆ ˆ X ˆ X ˆ X ) ( 1) 0 2 (Yi 0 1 1i 2 2i k ki ˆ 0 Q ˆ ˆ ˆ ˆ ˆ 2 (Yi 0 1 X 1i 2 X 2i k X ki ) ( X 1i ) 0 1 Q ˆ ˆ ˆ ˆ ˆ 2 (Yi 0 1 X 1i 2 X 2i k X ki ) ( X ki ) 0 k
例题，（见p54）
7
3.1.2最小二乘法
一、参数的最小二乘估计 二、离差形式的最小二乘估计
三、随机误差项方差σ2的估计量
参数的最小二乘估计
– 根据最小二乘准则：
ˆ , ˆ ,， ˆ） Q( 0 1 k
ei
2 i 1 n 2 ˆ ( Y Y ) i i i 1 n
n 1 ˆ β (X' X) X' Y X i
X X
i 2 i

1
Yi X Y i i
例如，二元线性回归模型
Yi 0 1 X1i 2 X 2i ui
参数的OLS估计量分别为
ˆ 1
y x x y x x
② 拟合值的样本均值与实际观测值的样本均值相等，即
n 1 ˆ Y，其中Y ˆ Y ˆ Y i n i 1
，
③ 样本均值 X1 , X k , Y
④
满足如下等式： Y
ˆ ˆ X ˆ X 0 1 1 k k
ˆe y
i 1
n
i i
0
参数估计量的离差表达式：
第三章 多元线性回归模型
• 多元回归模型的引入
• 模型的矩阵表示 • 最小二乘估计 • 最小二乘估计量的基本性质 • 可决系数（R2）
• 估计量的检验与置信区间
• 预测
• 案例分析
多元回归模型的引入
受教育年限与每小时工资： ˆ 0.0144 0.7241 Y X
i i
实际中影响每小时工资的可能还有工作经验、性别、种族 和个人能力等。综合考虑这些因素，可以建立下面的多元 回归模型：
因 为：
n
X

1i
X X

1i 2 1i
X X X
2i 2i

1i
X ki

X X X
ki
X
1 X 12 X 22
ki
X

1i
X
X 11 X 12 X 1n