得到： ˆ ˆ X Y n i 1 2 i 2 ˆ ˆ X Y X X i i 1i 2i
此方程组为正规方程组，解此方程组得：
ˆ Y ˆX 1 2 X Y SXY i n ˆ XiY 2 2 2 Xi nX SXX
其中，
1 1 Y Y X i,X i n n
2
S X X Y Y , S X X XY i i XX i
案例2.1&2.2

课本p24、p27 EViews软件操作
二、最小二乘估计的性质
㈠参数估计式的评价标准 ⒈无偏性 前提：重复抽样中估计方法固定、样本数不变、 经重复抽样的观测值，可得一系列参数估计值。 ˆ 参数估计值 的分布称为 的抽样分布，其密 度函数记为f( ) ˆ 如果 E(ˆ )= ˆ 称 是参数 的无偏估计式， 是另一种方式 f 产生的模型参数的估计量，抽样分布为 ， 若 的期望不是等于 的真实值，则称 是 有偏的，偏倚为 E( )- ，见下图
概 率 密 度
ˆ f

f

的估计值

图2.7
⒊一致性
思想：当样本容量较小时，有时很难找到最佳无偏估计， 需要考虑扩大样本容量 （估计方法不变，样本数逐步扩大，分析性质是否改善） 一致性：当样本容量n趋于无穷大时，如果估计式 按概 率收敛于总体参数的真实值，就称这个估计式 是ˆ 的一 致估计式。 ˆ limP( )＝1 ˆ 渐进无偏估计式是当样本容量变得足够大时，其偏倚趋 于零的估计式。 见下图
2
s2
S
)， 2
XX
ˆ ~ N ( 1 1
X ,
n
SXX
2 i 2
s 2)
ˆ i
ˆ
ˆ 的 标准差 分别为 ： 和 2 1
i
1
ˆ ) s2/ S ( 2
ˆ ) S ( 1
SiXX
2
s 2 X i2
n SiXX
2
2 、随机误差项 的方差s 2 的估计
ˆ 和 ˆ1 的方差和标准差的表达式中，都含 在估计的参数 2
ˆ f 100
概 率 密 度

ˆ f 80

ˆ f 60

ˆ f 40


的估计值
㈡高斯－马尔可夫定理
由OLS估计式可以看出， ˆ 可以用观测样本 X和 Y 唯一表示。 ˆ 是随 因为存在样本抽样波动，OLS估计的 机变量。 OLS估计式是点估计式。


在古典回归模型的若干假定成立的情 况下，最小二乘估计是所有线性无偏 估计量中的有效估计量。称OLS估计为 “最佳线性无偏估计量”。

⒊估计过程
在离差平方和的表达式中，被解释变量 Y i 的观测值和解释变量 X i 都是已知的，因此 可以将看作是未知参数 1, 2 的函数。计算 此函数对的一阶偏导数，可得：
Q ˆ ˆ X 0 2 Y i 1 2 i ˆ 1 Q ˆ ˆ X X 0 2 Y i 1 2 i i ˆ 2
xi2
2302426.9 924241.9 410080.1 140906.4 2875.6 230040.1 1120686.9 3619981.9 8751239.9
xi yi
1513391.9 687743.6 287768.5 113879.4 -985.4 174403.6 767106.1 2655351.0 6198658.9
第二节 回归模型的参数估计
一、最小二乘估计（OLS）
⒈选择最佳拟合曲线的标准 从几何意义上说，样本回归曲线应尽可 能靠近样本数据点。 选择最佳拟合曲线的标准可以确定为： 使总的拟合误差（即总残差）达到最小。 用最小二乘法描述就是：所选择的回归 模型应该使所有观察值的残差平方和达到 最小。
⒉OLS的基本思路
于是， Yi 的概率函数为
P (Yi )
1

1
s 2p
e
2s
ˆ1 ˆ X i )2 ( Y i 2
2
i=1,2,
…,n
Y 的所有样本观测值的联合概率， 因为 Yi 是相互独立的，所以
也即似然函数(likelihood function) 为：
ˆ , ˆ ,s 2 ) P(Y , Y ,× × × L( , Yn ) m 1 2 1 2
⒈线性特征; ⒉无偏性; ⒊最小方差性 ⒋一致性
证明过程参见p30~32,也可从精品课程网站下载。 结论：OLS估计式是BLUE。
全 部 估 计 量 线 性 无 偏 估 计 量
B L U E 估 计 量
㈢系数的估计误差与置信区间
ˆ 的概率分布 1 、ˆ 和 2
1
首先， 由于解释变量 X i 是确定性变量，随机误差项 随机性变量，因此被解释变量 征）与 i 相同。
对于一元线性回归模型：
Yi 1 2 X i m i
i=1,2,
…n
随机抽取 n 组样本观测值 Yi , X i（i=1,2,…n），假如模型的参数
$ ，那么 $ 和 Yi 服从如下的正态分布： 估计量已经求得到，为 1 2
ˆ ˆ X ,s 2 ) Yi ～ N ( 1 2 i
系列1
由图 1 可见， 可以用线性回归模型来描述该市城镇居 民人均可支配收入和人均消费性支出之间的关系。 在本例 中，城镇居民人均可支配收入为解释变量，用 X 来表示； 人均消费性支出为被解释变量，用 Y 来表示，则描述某 市城镇居民人均可支配收入和人均消费性支出之间关系 的线性回归模型的理论模型为：



不同的估计方法可得到不同的样本回归 参数 ˆ 1和 ˆ 2 ，所估计的 Yˆi 也不同。 理想的估计方法应使 Yˆ 和 Y 的差即残差 e i 越小越好。 2 e 因为e i 可正可负，所以可以取 i 最小， （选择平方的原因：介绍）即：
i
i
2 2 ˆ ˆ ˆ Q e Y Y Y X min i i i 1 2 i 2 i
则依据 1995 年——2002 年的样本数据，可得描述该市城镇居 民人均可支配收入和人均消费性支出之间依存关系的线性回 归方程：
ˆ ˆ X 525.8662 0.7083X ˆ Y i 1 2 i i
该结果给出了该市城镇居民人均可支配收入和人均消费性 支出之间依存关系的具体形式。 2 0.7083表明，当居民人 均可支配收入增加 1 元时，人均消费性支出将平均增长 0.7083 元。这里之所以讲“平均” ，是因为 Yi 是其与给定的 X i 值对应 的许多可能取值的平均值。
X X
46403 5800.375 n 8 Yi 37075 Y 4634.375 n 8
i
根据表 2 合计栏的数据及以上关于 X 和 Y 的计 算结果可得：
ˆ
2
xy x
i i 2 i
6198658.9 0.7083 8751239.9
ˆ Y ˆ X 525.8662 1 1
有随机扰动项方差
s 2 = var( i ) 。 s 2 又称为 总体方差
。
ˆ 和 ˆ1 的方差与标准差实 由于 s 2 实际上是未知的，因此 2
际上无法计算。 由于随机项 i 不可观测，只能从 i 的估计——残差 ei 出发， 对总体方差 s 2 进行估计。
可以证明 ：总体方差 s 2 的无偏估计量 为
Yi 是随机变量，且其分布

i
是
（特
ˆ1 分别是 Yi 的线性组合，因此 ˆ 、 ˆ1 的概率分 其次 ，ˆ 2 和 2 布取决于 Y。 ˆ1 也 在 是正态分布的假设下，Y 是正态分布，因此 ˆ 2 和 服从正态分布，其分布特征（密度函数）由其均值和方差唯 一决定。
因此：
ˆ ~ N ( 2 ,
s ˆ2
e
2 i
n2
ˆ 2 求出后， 估计的参数 在总体方差 s 2 的无偏估计量 s ˆ1 和 ˆ 2
的方差和标准差的估计量 分别是：
ˆ
2
的样本方差：
ˆ ) sˆ Var ( 2
ˆ )s ˆ S (
2
S2XX
ˆ 的样本标准差： 2 ˆ1 的样本方差： ˆ1 的样本标准差：
Yi
3637 3919 4185 4331 4616 4998 5359 6030 37075
xi
-1517.4 -961.4 -640.4 -375.4 53.6 479.6 1058.6 1902.6 ——
yi
-997.4 -715.4 -449.4 -303.4 -18.4 363.6 724.6 1395.6 ——
Yi 1 2 X i i
i=1,2,…n
在本例中，影响人均消费性支出的因素，除了 居民人均可支配收入之外，还可能有消费品的价格 水平、银行存款利率、消费者的偏好，政府的政策， 需求者对未来的预期等等多种因素。我们这里仅分 析居民人均可支配收入对人均消费性支出的影响， 其他各因素的影响，就被包含在随机误差项中。
ˆ )s ˆ 2 X i2 n S2 Var (
S ( ˆ ) sˆ
2
S2XX
XX XX
1

1

X
2 i
n 2 S
⒊系数的置信区间

见p34
四、多元线性回归模型的参数估计

方法相同，只是通过矩阵表示，参见 p35~37
※五、极大似然法ML

极大似然法（ Maximum Likelihood, ML） ，也称最大似 然法，是不同于最小二乘法的另一种参数估计方法， 是从最大或然原理出发发展起来的其它估计方法的基 础。 基本原理： 对于最小二乘法，当从模型总体随机抽取n组样本观测 值后，最合理的参数估计量应该使得模型能最好地拟 合样本数据。 对于极大似然法，当从模型总体随机抽取n组样本观 测值后，最合理的参数估计量应该使得从模型中抽取 该n组样本观测值的概率最大。