第二讲 普通最小二乘估计量 一、基本概念：估计量与估计值对总体参数的一种估计法则就是估计量。

例如，为了估计总体均值为u ，我们可以抽取一个容量为N 的样本，令Y i 为第i 次观测值，则u 的一个很自然的估计量就是ˆiY uY N==∑。

A 、B 两同学都利用了这种估计方法，但手中所掌握的样本分别是12(,,...,)A A AN y y y 与12(,,...,)B B B N y y y 。

A 、B 两同学分别计算出估计值ˆAiA y uN=∑与ˆBiB y uN=∑。

因此，在上例中，估计量ˆu是随机的，而ˆˆ,A B u u 是该随机变量可能的取值。

估计量所服从的分布称为抽样分布。

如果真实模型是：01y x ββε=++，其中01,ββ是待估计的参数，而相应的OLS 估计量就是：1012()ˆˆˆ;()iiix x yy x x x βββ-==--∑∑ 我们现在的任务就是，基于一些重要的假定，来考察上述OLS 估计量所具有的一些性质。

二、高斯-马尔科夫假定●假定一：真实模型是：01y x ββε=++。

有三种情况属于对该假定的违背：（1）遗漏了相关的解释变量或者增加了无关的解释变量；（2）y 与x 间的关系是非线性的；（3）01,ββ并不是常数。

●假定二：在重复抽样中，12(,,...,)N x x x 被预先固定下来，即12(,,...,)N x x x 是非随机的（进一步的阐释见附录），显然，如果解释变量含有随机的测量误差，那么该假定被违背。

还存其他的违背该假定的情况。

笔记：12(,,...,)N x x x 是随机的情况更一般化，此时，高斯-马尔科夫假定二被更改为：对任意,i j ,i x 与j ε不相关，此即所谓的解释变量具有严格外生性。

显然，当12(,,...,)N x x x 非随机时，i x 与j ε必定不相关，这是因为j ε是随机的。

●假定三：误差项期望值为0，即()0,1,2i E i N ε==。

笔记：1、当12(,,...,)N x x x 随机时，标准假定是：12(,,...,)0,1,2,...,i N E x x x i N ε==根据迭代期望定律有：12[(,,...,)]()i N i E E x x x E εε=,因此，如果12(,,...,)0i N E x x x ε=成立，必定有：()0i E ε=。

另外，根据迭代期望定律也有：12[(,,...,)]()i N j i j E E x x x E x x εε=而1212(,,...,)(,,...,)i N i N j j E x x x E x x x x x εε=。

故有：12()0(,,...,)0()0()()()0(,)i N i i j i j i j i j E E x x x E E E E x C ov x x x εεεεεε==⇒=-=⎧⎨⎩⇒=因此，在12(,,...,)N x x x 是随机的情况下，假定二、三可以修正为一个假定：12(,,...,)0i N E x x x ε=。

2、所谓迭代期望定律是指：如果信息集Θ⊆Ω，则有][()()E E X E X ΩΘ=Θ。

为了理解上述等式，考虑一个极端情况：Ω包含了全部的信息，此时X 丧失了随机性，故()E XX Ω=，因此必有][()()E E X E X ΩΘ=Θ。

无条件期望所对应的信息集是空集，因此[()]()E E X E X Ω=。

3、回忆第一讲，对模型01y x ββε=++，在OLS 法下我们一定能保证:(1)残差均值为零;(2)残差与x 样本不相关。

残差是对误差的近似，如果假定二、三不成立，即误差项与解释变量相关，误差项期望值不为零，显然此时残差并不是对误差项的有效的近似，换句话说，此时OLS 估计量是有严重问题的。

因此，假定二、三非常重要。

●假定四：22iεδδ=，即所谓的同方差假定。

笔记：在12(,,...,)N x x x 是随机的情况下，该假定修订为：122Var(,,...,)i N x x x εδ=●假定五：(,)0,i j C ov i j εε=≠，即所谓的序列不相关假定。

笔记：在12(,,...,)N x x x 是随机的情况下，该假定修订为：12C ov(,,...,),0i jN x x x εε= ,i j ≠●假定六：2()0i x x -≠∑，在多元回归中，该假定演变为X X '的逆存在，即各解释变量不完全共线。

三、高斯-马尔科夫定理当高斯-马尔科夫假定成立时，在所有线性无偏估计量中，OLS 估计量方差最小。

或者说，OLS 估计量是最优线性无偏估计量（best linear unbiased esti mator,BLUE ）。

这被称为高斯-马尔科夫定理。

（一）OLS 估计量是线性估计量所谓OLS 估计量是线性估计量，是指它能够被表示为i y 的线性函数。

例如：12ˆ[]()i i i i i x xy k y x x β-==-∑∑∑注意，在假定二下，k i 是非随机的。

练习：把0ˆβ表示成iy 的线性函数。

笔记：线性意味着简单，简单意味着普通。

因此有称谓“普通最小二乘法”。

二乘即为平方，故OLS 即为“简单的最小平方法”。

（二）OLS 估计量具有无偏性：11)ˆ(E ββ=；00ˆ()E ββ= 证明11)ˆ(E ββ=： 0112)ˆ[](()i i i i i i i i x x xy k y k x x βεββ++-===-∑∑∑∑0()11)ˆ(i i i i i k x E k E k βεββ++⇒=∑∑∑而0i k =∑；1i i k x =∑。

因此在重要假定三：()0i E ε=下，有：11)ˆ(E ββ=。

笔记：在12(,,...,)N x x x 是随机的情况下，我们需证：1211ˆE (,,...,)N x x x ββ=练习：证明00ˆ()E ββ= （三）在所有线性无偏估计量中，OLS 估计量方差最小1、关于方差12ˆ01][())(i i i i i Var Var x k k βδβεεβ==++∑∑在重要假定五：(,)0,i j C ov i j εε=≠及其重要假定四：22iεδδ=下，有：12ˆ22i k βδδ=∑ 注意到2222()()1()i i i i x xx x x x k =-=--∑∑∑∑因此有：12ˆ22()i x x βδδ=-∑ 笔记：12ˆ112222()()NN iix x x x βδδδ==--∑∑，当N 趋于无穷大时，样本方差12()N i x x -∑收敛于总体方差，故当N 趋于无穷大时，12ˆβδ趋于0。

由于11)ˆ(E ββ=，因此，当N 趋于无穷大时，1ˆβ在概率上收敛于1β，即1ˆβ是1β的一致估计量。

你能够表明0ˆβ是0β的一致估计量吗？应该注意到，一致性是估计量应该满足的最低要求。

想一想，如果把总体都告诉了你，但你的估计或者猜测却与真实参数不一致，你是不是应该检讨一下你的估计方法？练习：（1）证明在高斯-马尔科夫假定下：2ˆ2222221()()()i i ix x Nx x N x x βδδδ=+=--∑∑∑（2）证明在高斯-马尔科夫假定下：221()(1)i E Nεεδ-=-（3）证明在高斯-马尔科夫假定下：1ˆ(,)0C ov βε=（4）证明在高斯-马尔科夫假定下：0122ˆˆ(,)()i x C ov x x ββδ=--∑2、证明方差最小把任意一种线性估计量表示为i i w y ∑，当2()i i i i x xx x k w --==∑时，该估计量即为1β的OLS 估计量。

现在我们将证明：在所有无偏的1β的线性估计量中，OLS 估计量具有最小的方差。

“在所有无偏的1β的线性估计量中”是一个前提条件。

我们的任务是，在给定前提下（约束条件），证明OLS 估计量所对应的权数使方差（目标函数）取最小值。

首先分析前提条件：线性估计量的表达是011ˆ)i i ii i w y w x βββε==++∑∑( 为了保证1ˆβ的无偏性，那么应该保证：101011)ˆ()(i i i i i i i i w w w E w x w x E ββββεββ==++=+∑∑∑∑∑ 因此，0;1i i i w w x ==∑∑其次分析方差表示：12ˆ01()[()]()i i i i i i i Var w y Var w x Var w βδββεε==++=∑∑∑，在假定四、五下，有：12ˆ22()i i i Var w w βδεδ==∑∑。

最后，形成数学问题：2211,2,..0..1(2)(1)Nii i i i Nw w w w w x M inws t δ===∑∑∑ 常数2δ对于该最优化问题并不重要，因此上述问题简化为：211,2,..0..1(2)(1)Nii i i i Nw w w w w x M inw s t ===∑∑∑对上述极值问题，其拉格朗日函数是：122(1)i i i i w w x L w λλ+=--∑∑∑相应的一阶条件是：112112121(3)222000iNi Ni N group lw lw lw x x x w w w λλλλλλ------∂=∂∂=∂∂=∂===2(4)(5)110il i il w w xλλ-∂==∂∂=-=∂∑∑应该注意到，把（3group ）中各式相加并利用（4）有：120i N x λλ+=∑，即12x λλ=-；把（3group ）中第i 式两边同乘以i x 并各式相加，然后利用（5），有：12220i i x x λλ--=∑∑，即22220i i x x x λλ-+=∑∑因此，2()2i i x x x λ-=∑；1()2i i x x x x λ=--∑因此，2(((12)))()2222i i i i i i i iii i i x x x x x x x x x x x x xx x xx xw λλ-++---===--=-∑∑∑∑而在前面我们已知道这个权数正是1β的OLS 估计量所对应的权数！练习：证明OLS 估计量0ˆβ在所有0β的线性无偏估计量中方差是最小的。

笔记：线性性质不过是OLS 估计量在假定一下所具有的代数性质，无偏性与有效性才是高斯-马尔科夫定理所强调的。

高斯-马尔科夫定理为OLS 的广泛应用提供了理论依据。

当然问题是，该定理涉及到如此众多的假定，这些假定同时成立实属罕见！从而这涉及到两个问题：（1）如何检验这些假定？这些检验属于计量检验。

（2）如果一些假定并不成立，那么OLS 估计量具有什么性质？此时我们应该采取何种估计方法？本讲义后续章节将讨论这些问题。