XTX 1)
矩阵 X 是非随机的；且 X 的秩 ( X ) k 1 ，此时
也是满秩的
标量符号 2、随机误差项具有零均值、同方差及不序列相关
E ( i ) 0
Var ( i ) E ( i2 ) 2
Cov ( i , j ) E ( i j ) 0
• 参数的最大或然估计
( X X ) 1 X Y
• 结果与参数的普通最小二乘估计相同
3、矩估计(Moment Method,MM)
• 用每个解释变量分别乘以模型的两边，并对所有 样本点求和，即得到：
yi y x i 1i yi x 2i yi x ki
X 1i
ˆ 0 1 ˆ X 11 1i ki 1 2 X ki ˆ k X k1
1 X 12 X k2
1 Y1 X 1n Y2 X kn Yn
E (Yi | X 1i 2 X 2 i k X ki
（2.3.9）
称为多元回归方程（函数）。 多元回归分析（multiple regression analysis）是以 多个解释变量的固定值为条件的回归分析，并且所 获得的是诸变量X值固定时Y的平均值。诸i称为偏 回归系数（partial regression coefficients）。
(2.3.6)
解该（k+1）个方程组成的线性代数方程组，即可得到 (k+1)个待估参数的估计值 j , j 0,1,2, , k 。
（2.3.6）的矩阵形式如下：
n X 1i X ki
X X

1i 2 1i

X X X
ki
X
ki
即：
ˆ X X X Y
由于 X X 满秩，故有
( X X ) 1 X Y
（2.3.7）
（2.3.8）
• 估计过程的矩阵表示：
对于模型(2.3.3)式有：
Y X
被解释变量的观测值与估计值之差的平方和为：
Q
e
i 1
n
2 i

(y
i 1
n
i
yi ) 2
(0 1 x1i 2 x 2i k x ki i ) ( 0 1 x1i 2 x 2i k x ki i ) x1i ( 0 1 x1i 2 x 2i k x ki i ) x 2i ( 0 1 x1i 2 x 2i k x ki i ) x ki
i 1, 2, , n i 1, 2, , n i j
矩阵符号 2、 E ( N ) 0,
E ( NN T ) 2 I
1 E ( 1 ) E ( N ) E 0 E ( ) n n
2、多元线性回归模型的基本假定
模型(2.3.1)或(2.3.2)在满足下述所列的基本假设的 情况下，可以采用普通最小二乘法（OLS）估计参数。 关于经典回归模型的假定
标量符号 1、解释变量 X 1 , X 2 , , X k 是非随机的或固定的；而且各 X 之 间互不相关（无多重共线性(no multicollinearity)） 矩阵符号 1、 n ( k
• 得到一组矩条件
yi yi x1i yi x 2i yi x ki (0 1 x1i 2 x 2i k x ki ) ( 0 1 x1i 2 x 2i k x ki ) x1i ( 0 1 x1i 2 x 2i k x ki ) x 2i ( 0 1 x1i 2 x 2i k x ki ) x ki
• 对每个方程的两边求期望，有：
E ( yi ) E ( (0 E ( y x ) E ( ( i 1i 0 E ( yi x 2i ) E ( ( 0 E ( yi x ki ) E ( ( 0
1 x1i 2 x 2i k x ki i )) 1 x1i 2 x 2i k x ki i ) x1i ) 1 x1i 2 x 2i k x ki i ) x 2i ) 1 x1i 2 x 2i k x ki i ) x ki )
• 多元线性回归模型的矩阵表达式为：
Y X
其中 (2.3.2)
1 x11 1 x 12 X 1 x1n
x 21 x 22 x2n
xk1 xk 2 x kn n ( k 1)
0 1 1 2 2 n n 1 k ( k 1) 1
• 多元线性回归模型的一般形式为：
Yi 0 1 X 1i 2 X 2 i k X ki i
i=1,2,„,n (2.3.1)
其中：k 为解释变量的数目；
习惯上把常数项看成为一个虚变量的系数，在 参数估计过程中该虚变量的样本观测值始终取1。 这样： 模型中解释变量的数目为（k+1）。
Q0 0 Q0 1 Q0 2 Q0 k
(2.3.4)
其中
ˆ Q e (Yi Yi ) 2
i 1
n
n
n
2 i
i 1
ˆ ˆ ˆ ˆ (Yi ( 0 1Y1i 2Y2i k Yki ))
ˆ X Y X X 0
即得到
X Y X X
于是，参数的最小二乘估计值为：
( X X ) 1 X Y
2、最大或然估计
• Y的随机抽取的n组样本观测值的联合概率
2 L( , ) P ( y1 , y 2 , , y n ) 1
• 如果某个解释变量与随机项相关，只要能找到1个 工具变量，仍然可以构成一组矩条件。这就是IV。 • 如果存在＞k+1个变量与随机项不相关，可以构成 一组包含＞k+1方程的矩条件。这就是GMM。
4、多元回归方程及偏回归系数的含义
在经典回归模型的诸假定下，式（2.3.1）两边对 Y 求条 件期望得：
e e (Y X ) (Y X )
e1 e 2 e en
其中
根据最小二乘原理，参数估计值应该是下列方程组的解：
(Y X) (Y X) 0
求解过程如下：
ˆ ˆ (Y X)( Y X) 0 ˆ ˆ ˆ ˆ ˆ (Y Y X Y Y X XX) 0 ˆ ˆ ˆ ˆ (Y Y 2Y' X X X) 0 ˆ ˆ ˆ ˆ (Y Y 2( X' Y )' X X) 0 ˆ
标量符号 3、解释变量与随机项不相关
Cov ( X ji , i ) 0
i 1, 2, , n
矩阵符号 3、 E ( X T N ) 0 ，即
i E ( i ) X 1i i X 1i E ( i ) E 0 X X E ( ) Ki i Ki i
(Yi , X ji ), i 1,2, , n, j 0,1, 2, k
如果模型的参数估计值已经得到，则有：
ˆ ˆ ˆ ˆ ˆ Yi 0 1 X 1i 2 X 2i ki X Ki
i=1,2,„,n (2.3.3)
根据最小二乘原理，参数估计值应该是下列方程组的解：
n (2 )
n 2

1 2
2
( yi ( 0 1 x1i 2 x2 i k x ki )) 2
e

1 2
2

1
n (2 )
n 2
(Y X) (Y X)
e
• 对数或然函数为
L* Ln( L) 1 nLn( 2 ) 2 (Y X) ' (Y X) 2
多元线性回归模型的参数估计 Estimation of Multiple Linear Regression Model
一、多元线性回归模型 二、多元线性回归模型的参数估计 三、OLS估计量的统计性质 四、参数估计量的方差-协方差矩阵和随机误差项 2方差的估计 五、样本容量问题 六、多元线性回归模型实例
一、多元线性回归模型
1、多元线性回归模型的形式
• 由于： 在实际经济问题中，一个变量往往受到多个原 因变量的影响； “从一般到简单”的建模思路。 • 所以，在线性回归模型中的解释变量有多个， 至少开始是这样。这样的模型被称为多元线性 回归模型。 • 多元线性回归模型参数估计的原理与一元线性 回归模型相同，只是计算更为复杂。
标量符号 4、 （为了假设检验） ，随机扰动项服从正态分布
i ~ N (0, 2 )
i 1, 2, , n
矩阵符号 4、向量 N 为一多维正态分布，即
N ~ N (0, 2 I )
二、多元线性回归模型的参数估计
1、普通最小二乘估计
• 普通最小二乘估计
随机抽取被解释变量和解释变量的 n 组样本观测值：
1 T E ( NN ) E n
1
2 12 1 n n E 2 n 1 n 0
0 2I 2
i 1
2
(2.3.5)