ˆ SX i2 SYi SX i SYi X i b 0 = nSX i2 (SX i ) 2 ˆ = nSYi X i SYi SX i b 1 2 2 n S Y ( S X ) i i
可见，在满足一系列基本假设的情况下，模型 结构参数的最大或然估计量与普通最小二乘估计 量是相同的。
1 i i i 0 1 i i 0 i 1 i i i i
i
i
2 i
i
i
i
i
i
i
2 i 2 i
i
i
i
2 i
2 i
2 i
2 i
故： bˆ
1
= b1 + ki m i
ˆ ) = E ( b + k m ) = b + k E (m ) = b E(b i i i i 1 1 1 1
ˆ = w Y = w (b + b X + m ) = b b i i i 0 1 i i 0 wi + b1 wi X i + wi m i 0
e
n
2 i
3、样本回归线的数值性质(numerical properties) • 样本回归线通过Y和X的样本均值；
• Y估计值的均值等于观测值的均值；
• 残差的均值为0。
二、最小二乘参数估计量的统计性质
高斯-马尔可夫定理
当模型参数估计完成后，需考虑参数估计值的精
度，即是否能代表总体参数的真值，或者说需考察
给定一组样本观测值（Xi, Yi），i=1,2,…n，假如 模型参数估计量已经求得，并且是最合理的参数估 计量，那么样本回归函数应该能够最好地拟合样本 数据，即样本回归线上的点与真实观测点的“总体 误差”应该尽可能地小。
最小二乘法给出的判断标准是：二者之差的平方 和最小，即
Q=
n (Y i =1 =
k
2 i
s 2 + d i2s 2 + 2s 2 k i d i
= k i (c i k i ) = k i c i k i2
模型参数估计的任务
• 模型参数估计的任务为两项：
一是求得反映变量之间数量关系的结构参数的估计量，
在一元线性回归模型即是参数 b0 和 b 1 的估计量； 二是求得随机误差项的分布参数，由于随机误差项
的均值已经被假定为0，所以所要求的分布参数只有
方差 s 2 m 。
1、普通最小二乘法 （Ordinary Least Square, OLS）
i=1,2, …n
随机抽取 n 组样本观测值Yi , X i （i=1,2,…n） ，假如模型的参数
$ $ b b 0 和 估计量已经求得到， 为 那么Yi 服从如下的正态分布： 1 ， ˆ +b ˆ X ,s 2 ) Yi ～ N ( b 0 1 i m
于是，Yi 的概率函数为
P(Yi ) = 1
=
1
n (2 ) s m
n 2

1 2s m
2
e
ˆ b ˆ X )2 S (Yi b 0 1 i
将该或然函数极大化，即可求得到模型参数的 极大或然估计量。
由于或然函数的极大化与或然函数的对数的极 大化是等价的，所以，取对数或然函数如下：
L* = ln( L) 1 ˆ b ˆ X )2 = n ln( 2 s m ) 2 S(Yi b 0 1 i 2s m
2
1 2 ˆ Var ( b ) = Var w Y = w Var ( b + b X + m ) = Xk s 2 0 i i i 0 1 i i i m n
2 x 1 2 1 2 1 2 2 2 i 2 = 2 Xk + X k s = X k + X 2 s i i m i m n n n n x i 2
ˆ b ˆ X ) 2 求极小值: 对 L* 求极大值，等价于对 S(Yi b 0 1 i
ˆ b ˆ X )2 = 0 S ( Y b i 0 1 i ˆ b 0 ˆ b ˆ X )2 = 0 S(Yi b 0 1 i ˆ b 1
解得模型的参数估计量为：
2 ei
2.用离差形式的数据xi，yi计算 简捷公式为
2 2 ˆ 2 x2 ei = yi b 1 i
其中
2 2 2 2 yi = (Yi Y ) = Yi nY 2 2 2 2 xi = ( X i X ) = X i nX
2、最大似然法（ Maximum Likelihood, ML）
可知：
b 0 ci + b 1 ci X i = b 1
c 从而有：
i
=0
，
ci X i = 1
ˆ * 的方差 b 1
ˆ * ) = var( c Y ) = var( b i i ci2 var( Yi ) = ci2 var( m i ) = ci2s 2 1
= (k 由于
1 = Xi X n 1 = Yi Y 记 = n xi X i X y i = Yi Y
，
ˆ0 = Y b ˆ1X b 则参数估计量可以写成： b ˆ1 = xi yi 2 x i
注：在计量经济学中，往往以大写字母表示原始数据 （观测值），而以小写字母表示对均值的离差 （deviation)。
Q 对 b$0 、 b$1 的一阶偏导数为
根据极值存在的
Q 达到最小。即
0 时，
Q ˆ =0 ˆ +b ˆ SX ˆ +b ˆ X Y )=0 S Yi = nb (b b 0 0 1 i 0 1 i i 2 ˆ ˆ ˆ ˆ Q S = b S + b S b + b = Y X X X ( X Y ) X 0 0 i 1 0 1 i i i i i i =0 ˆ b 1
• 最大或然法，也称最大似然法，是不同于最小二乘
法的另一种参数估计方法，是从最大或然原理出发发 展起来的其它估计方法的基础。 • 基本原理： 对于最大或然法，当从模型总体随机抽取n组样本 观测值后，最合理的参数估计量应该使得从模型总体 中抽取该n组样本观测值的联合概率最大。
对于一元线性回归模型：
Yi = b 0 + b 1 X i + m i
由于： w = (1 / n X k ) = 1 X k
i i
i
=1
w X = (1 / n Xk ) X
i i i
i
=1
n
X i X ki X i = X X = 0
故：
ˆ =b + wm b i i 0 0 ˆ ) = E ( b + w m ) = E ( b ) + w E (m ) = b E(b i i i i 0 0 0 0
= k i + d i ，d i
为不全为零的常数。
ˆ * ) = E ( c Y ) = c E (Y ) = c ( b + b X ) = b E(b ii i i i 0 1 i 1 0 ci + b 1 ci X i
ˆ* ˆ*) = b b E ( b 1 由 的无偏性，即 1 1
一元线性回归模型及其参数估计
一、一元线性回归模型的参数估计 二、最小二乘参数估计量的统计性质 三、最小二乘参数估计量的概率分布
一、一元线性回归模型的参数估计
一元线性回归模型的一般形式
一元线性回归模型的一般形式
Yi = b 0 + b 1 X i + m i
是：
i=1 ， 2 ，…， n
在满足 基本假设：
3、有效性：在所有线性无偏估计量中，最 小二乘参数估计量具有最小方差。
ˆ 和b ˆ 的方差 （1）先求b 0 1
x s2 ˆ ) = Var ( k Y ) = k 2Var ( b + b X + m ) = i s 2 = m Var ( b 1 i i i 0 1 i i x2 m Sx 2 i i
i i i i 2 i 2 i 2 i
i i
+
Y xi
2 x i
xi 2 x i
，因 x = ( X
i
i
X ) = 0 ，故有
xi ˆ = b x 2 Yi = k iYi 1 i
ˆ =Y b ˆ X = 1 Y k Y X = ( 1 Xk )Y = w Y b i ii n i i ii 0 1 n
随机误差项方差的估计量
ˆi 为第i个样本观测点的残差，即被 记 ei = Yi Y
解释变量的估计值与观测值之差，则随机误差项方 差的估计量为：
$m s
2
Se = n2
2 i
1.用原始数据（观测值）Xi，Yi计算 简捷公式为
ei = Yi
ei
2
2
2 b ˆ Y b ˆ Y X 0 i 1 i i
ˆ) = Y
i
2
n (Y i =1 i
2 ˆ ˆ ( b + b X )) 0 1 i
最小
n 2 ˆ +b ˆ X )) 2 是 b$ 、 b$ 的二次函 ˆ 由于 Q = (Yi Yi ) = (Yi ( b 0 1 0 1 i 1 1
n
数，并且非负，所以其极小值总是存在的。 条件 ，当
E(mi ) = 0 2 Var ( m i ) = s m Cov ( m i , m j ) = 0 Cov ( xi , m i ) = 0 期望或均方值 同方差 协方差