广义最小二乘估计量为
~ ( X *' X * )1 X *'Y *
(5.4.20)
将(5.4.17)代入(5.4.20)
~ [(PX )(PX )]1(PX )(PY)
( X PPX )1 X PPY ( X 1 X )1 X 1Y
(5.4.20)′
(5.4.20)(或(5.4.20)′)称为广义最小二乘估计式。这种
ui ) V (ui ) k 2 f (xi ) k 2 f (xi ) f (xi ) f (xi )
因此，对模型(5.4.5)应用OLS法，即可得出参数 α、β的最佳线性无偏估计量，问题得以解决。
例5.4.1
设模型(5.4.1)中ui的异方差结构为
2uiຫໍສະໝຸດ k2xi2(这是一种最常见的异方差结构)，求α、β的最佳
将原模型(5.4.11)进行适当变换，变为模型(5.4.18)，
然后对新模型(5.4.18)应用普通最小二乘法，求得参数
估计量，称作对原模型的广义最小二乘法，记作GLS。
当Ω = In时， ( X ' X )1 X 'Y ˆ
(5.4.21)
此时广义最小二乘法就是普通最小二乘法。
参数的协方差矩阵
, x*2i
ui f (xi)
xi f (xi)
(5.4.3)
,u*i
ui (5.4.4)
f (xi)
则模型(5.4.3)变为
y*i x1*i x*2i u*i
(5.4.5)
(5.4.5)中的参数α和β即原模型中的参数，但是随
机项 ui* 已经没有异方差性了。因为：
V (ui*) V (
2
i
f (xi)
(
yi f (xi)
f
1 (xi
)
(
y
i
ˆ
ˆ
xi )2
ˆ
f (xi)
ˆ )2
f (xi)
(5.4.10)
最小。显然，能使(5.4.10)达到最小的 ˆ 、ˆ 也一定 能使(5.4.9)式达到最小，因为二者只差一个常数因子。 即两种方法得到的结果相同。两种方法实质上是一回 事。对原模型进行变换的方法实际上是加权最小二乘 法当 1 1 时的特例，也可以看作是加权最小二乘法
1 '1
n k 1
(5.4.23)
其中ε为广义最小二乘估计量所对应的模型(5.4.11) 的样本残差。
四、广义最小二乘法的应用之一 —— 异方差问题的处理
设模型
Y X U
(5.4.24)
§5.4 异方差性问题的解决方法 一、对原模型进行变换
设原模型为
yi xi ui
(5.4.1)
其中ui具有异方差性(其余假定都满足)。假定现在已知
V
(ui
)
2
ui
k 2 f (xi )
(5.4.2)
其中k2为常数。现在的问题是经典假定遭到了破坏的
情况下，如何求出参数α、β的最佳线性无偏估计量?
解决这个问题的基本想法是对原模型(5.4.1)作适当
的变换，使变换后的随机项不再具有异方差，从而
可用OLS法求出参数的最佳线性无偏估计量。
用 f (xi ) 去除(5.4.1)式两端，则得到新的模型：
yi f (xi)
f (xi)
f(
x
i
)
x
i
记
y*i
yi f (xi)
, x1*i
1 f (xi)
线性无偏估计量。
在本例中 f (xi) xi2 ， f (xi) xi ，用 xi 去除(5.4.1) 式各项，得
改写成
yi ui
xi xi
xi
其中
yi* xi* ui*
y*i
yi xi
,
x*i
1 xi
, u*i ui xi
由于变换后的模型中的随机项
u
* i
已没有异方差，
(5.4.8)
将(5.4.8)代入(5.4.7)得加权最小二乘法，要求
2 i
2 ui
k2
1 f(
xi)
(
y
i
ˆ
ˆ
xi )2
达到最小。
现在对原模型(5.4.1)作变换：
(5.4.9)
yi f (xi)
f (xi)
f (xi) xi
ui f (xi)
(5.4.3)
对(5.4.3)应用普通最小二乘法，要求残差平方和：
PY PX PU
令
Y * PY X * PX U * PU
(5.4.16) (5.4.17)
则(5.4.16)变为
Y* X * U*
(5.4.18)
此时
E(U
*U
*
'
)
E(PUU
P)
PE(UU
)P
2 u
I
n
(5.4.19)
可见，变换后的模型(5.4.18)，已满足全部基本假定，
可以对模型(5.4.18)应用普通最小二乘法，求得β的
nn
n1 n2
1n
2n
nn
(5.4.13)
其它基本假定不变，称之为广义线性模型。
若将Ω换成In，则模型(5.4.11)就变成一般古典线性模型。 由于Ω为正定对称矩阵，必存在一个(n×n)阶非奇异矩
阵P，使得
PP ' In
(5.4.14)
且有
1 P ' P
(5.4.15)
利用矩阵P对原模型进行变换，用P左乘(5.4.11)得，
V
COV
(~)
2 u
(X
*
X
* ) 1
u2[(PX )(PX ) ]1
2 u
(
X
1
X
) 1
(5.4.22)
ˆ u 2
*' *
n k 1
n
1 k
(Y * 1
X
*
)' (Y *
X
*
)
1 (PY PX )'(PY PX )
n k 1
1 (Y X )' 1(Y X )
n k 1
k2 的直接应用。
三、广义最小二乘法 ( GLS ) 广义最小二乘法是处理广义线性模型的一种估计方法。
广义线性模型是指线性模型
Y X U
(5.4.11)
并且有
E(U ) 0
E
(UU
')
u
2
(5.4.12)
其中 u2为未知常数，Ω是一个已知的n×n阶正定
对称矩阵：
11 12 21 22
V (ui )
2 ui
作为εi2的权数是合理的。
现在我们可以用权数将普通最小二乘法修正为： 使加权残差平方和
2 i
2 ui
1
2 ui
(
y
i
ˆ
ˆ
xi )2
(5.4.7)
达到最小。这就是加权最小二乘法。
下面我们说明，这种加权最小二乘法同样可以消除
异方差性的影响。
设异方差是xi的函数
2 ui
k2 f (xi )
应用OLS法得α和β的最佳线性无偏估计量：
ˆ
xi* yi* xi*2
ˆ y* ˆ x *
二、加权最小二乘法(WLS)
在OLS法中，其基本原则是使残差平方和
2 i
(
y
i
ˆ
ˆ
x
2
i)
(5.4.6)
达到最小，这是对满足经典回归假定而言，也就
是在等方差的情况下进行的。当随机项具有异方差
时，用
1 1