10 *一般估计方法回归方程的估计在特定的条件下选择适当的估计方法会使得结果更加接近实际，更具有说服力。

满足古典线性回归模型的基本假设条件下，利用普通最小二乘法（OLS ）估计出来的系数具备优良的线性无偏最小方差（BLUE ）的性质。

如果一些条件不能满足，例如出现非线性模型、异方差、序列相关等情形，就无法得到这样的性质。

并且在面对因变量有影响而难以取舍或特殊的计量模型时，就需要改进估计方法以获得更加满意的估计结果。

下面依次介绍几种常见的一般估计方法：非线性最小二乘法（NLS ）、广义最小二乘法（GLS ）、广义矩阵法（GMM ）、逐步筛选最小二乘法、对数极大似然估计法。

10.1 非线性最小二乘法最小二乘法适用的古典假设之一是回归模型是线性的，然而社会经济现象是极其复杂的，有时被解释变量与解释变量之间的关系不一定是线性的。

例如柯布.道格拉斯(Cobb-Dauglass )生产函数模型:321t t t t y L K u ααα=+ ，t=1，2，...，T （10.1.1） 对此方程（10.1.2）进行对数变换，如下式123ln ln ln t t t t y L K u ααα=+++ （10.1.2）虽然式（10.1.2）的变量是非线性形式，此时我们仍能采用估计线性模型的方法，因此模型是参数线性的。

反之，就是参数非线性的，我们就要采用非线性的估计方法。

构建下面的非线性模型：(,)t t t y f x u α=+ ，t=1，2，…，T (10.1.3)式中，y 是被解释变量，x 为解释变量（向量），t u 为误差项，α为待估计的K 维参数向量12(,,...,)k αααα'=，T 是样本个数。

此处讨论的是，f 关于参数α的导数仍含参数α本身，即参数非线性模型。

非线性最小二乘估计是要选择参数向量α的估计值ˆα使残差平方和S(ˆα)最小：[]21ˆˆ()(,)T t t t S y f x αα==-∑ （10.1.4）求解方程，对每个参数分别求偏导数并令这些偏导数为0，得到方程组：[]1ˆˆ(,)()ˆ2(,)0ˆˆT t t t t i i f x S y f x ααααα=∂∂=--=∂∂∑，i=1，2，...，k （10.1.5） 对于参数非线性模型，无法利用普通最小二乘的方法直接求解式（10.1.5）。

下面介绍完成非线性最小二乘估计（nonlinear least square ，NLS ）的一种方法：牛顿-拉夫森（Newton-Raphson ）方法。

利用泰勒级数展开式，在考虑式（10.1.3）中只有一个参数（即k=1）的情形下，进行逐次线性逼近。

取泰勒展开式级数的前两项，略去f 展开式第三项以后的所有高阶项，即可得：(0)(0)2(0)(0)(0)22ˆˆˆˆdS 1ˆˆˆˆˆˆ()())()ˆˆ2d S S S d d αααααααααααα==≈+-+-（ (10.1.6) 使式(10.1.6)极小的一阶条件为(0)(0)2(0)ˆˆˆˆˆˆˆ()()ˆˆ()0ˆˆˆd S d S d S d d d αααααααααααα==≈+-=（） (10.1.7) 则有(0)(0)12(0)2ˆˆˆˆˆˆd ()ˆˆˆˆS dS d d αααααααααα-==⎛⎫=-⨯ ⎪ ⎪⎝⎭（) （10.1.8） 以(0)ˆα为初始值，利用式（10.1.8）可以得到新的值(1)ˆα，这样重复上述过程，反复迭代直至连续两次得到的参数估计相差小于给定的确定的标准δ，δ>0，即(1)()ˆˆl l ααδ+-<成立，也即迭代收敛，则停止迭代。

所得到的()ˆl α即为未知参数α的估计值ˆNLS α。

如果式（10.1.3）中含有多个参数，即k>1时，牛顿-拉夫森方法中参数向量通过下式进行迭代：(1)()1ˆˆl l l l H g αα+-=-⨯ （10.1.9）其中：()2()'ˆˆˆ()ˆ()ˆˆl l l S H H αααααα=∂==∂∂，()()ˆˆˆ()ˆ()ˆl l l S g g ααααα=∂==∂ 这种情况较为复杂，并不能保证得到的值最小，有可能只是局部的极小值。

因此，需要选择不同的初值，多次迭代。

若掌握的信息足够充分，所赋予初值可能很快达到最小值。

10.2广义最小二乘法古典线性回归模型的另两个基本假设：a.误差项观测值i u 不存在序列相关性，即cov(,)0i j u u =，i j ≠;b.误差项不存在异方差性。

若模型被检验证明即存在异方差，同时又存在序列相关，则需要发展新的方法估计模型，最常用的估计方法是广义最小二乘法（generalized least squared ， GLS ）。

普通最小二乘法和加权最小二乘法是它的特例。

有单方程线性模型y X βμ=+ （10.2.1）其中 2()0()E E μμμμδ=⎧⎪⎨'=Ω⎪⎩（10.2.2） 式（10.4.1）中：01(,,...,)k ββββ'=为（k+1）维系数向量，12(,,...,)N u μμμ'=为1N ⨯维随机扰动项向量，y 为1N ⨯维因变量数据矩阵，X 为(1)N k ⨯+解释变量数据矩阵。

式（10.4.2）中2μδ未知，Ω是一个n ⨯n 阶的正定对称矩阵111212122212n n n n n n nn σσσσσσσσσ⨯⎡⎤⎢⎥⎢⎥Ω=⎢⎥⎢⎥⎣⎦（10.2.3） 且模型满足其他基本假定，则称（10.4.1）为广义线性模型。

设Ω=DD '，用1D -左乘式（10.4.1）两边对原模型进行变换得，111D y D X D u β---=+ （10.2.4）令1y D y *-=，1X D X *-=，1u D u *-=，就得到一个参数向量与原模型相同的新的线性回归模型，即（10.4.4）变为y X u β***=+ （10.2.5）此时 []1111()()()()E u u E D uu D D E uu D **----'''''⎡⎤⎡⎤==⎣⎦⎣⎦1212112()()n D D D D D D I μδδδ----'''=Ω== （10.2.6） 变换后的模型（10.4.5）具有同方差和无序列相关性满足古典假定，于是可以用普通最小二乘法估计量模型，得到参数的广义最小二乘估计量为111111()[()]()b X X X D D X X D D y ∧-**-----'''''⎡⎤==⎣⎦ 111()X X X y ---''=ΩΩ （10.2.7）（10.4.7）称为原模型（10.4.1）的广义最小二乘估计，是有效的无偏估计，记作GLS 。

由于OLS 法是GLS 法的特例，在使用统计软件估计模型时，作为一个一般的经验方法，人们直接采用GLS 法。

如果确实存在异方差性和序列相关性，则被有效地消除了；如果不存在，则GLS 法等价于OLS 法。

10.3广义矩估计广义矩阵法（Generalized Method of Moments ，GMM ）也是一种常见的方法，由于限制条件少，对于带有预期变量模型的估计非常有效。

(1)参数的矩估计参数的矩估计就是用样本矩去估计总体矩。

例如，12,,n y y y 是从正态分布总体2(,)N μσ中抽取的一组样本观测值，那么可以从样本观测值计算样本一阶（原点）矩和二阶（原点）矩，然后去估计总体一阶矩和总体二阶矩，再进一步计算总体参数（期望和方差）的估计量。

即(1)11n i i X y n ==∑ (2)211n i i X y n ==∑ 分别为样本的一阶矩和二阶矩，于是总体一阶矩和总体二阶矩的估计量为：(1)(1)11ˆ()n i i M E Y X y n ====∑ (2)2(2)211ˆ()n i i M E Y X y n ====∑ 其中，()E Y μ=，222()E Y σμ=-，于是(1)(1)ˆˆ()M E Y X μ=== 2(2)(1)2(2)ˆˆ()()M M X X σ=+=+（2）参数的广义矩估计 在上面的例子中是选择两个样本矩估计总体的两个参数。

如果选择的矩估计方程个数多于待估参数个数，要确定参数估计值，广义矩估计方法就应运而生。

设样本的r 个矩为()i X ，1,,i r = ，对应r 个总体矩为()()i M β，1,,i r = 。

()()i M β为待估总体参数（向量）的函数，且r 大于待估总体参数的个数。

则最小二乘矩的参数估计量是使下式最小的参数估计量ˆβ。

()()21()(())r i i i Q X M ββ==-∑ 上式中，想要某些矩的作用大些，这就想到加权最小二乘法、广义最小二乘法。

写成向量形式，记(1)()(,)r X X X '= ，(1)()(,,)r M M M '= ，则加权最小二乘可定义为：1()()()Q X M S X M β-'=--其中S 是关于X M -的协方差阵。

参数β的GMM 估计就是使得()Q β达最小的ˆβ。

GMM 估计是一个大样本估计。

在大样本的情况下GMM 估计量是渐近有效的，在小样本情况下是无效的。

所以，只有在大样本情况下，才能使用GMM 方法进行参数估计。

（3）线性回归模型的GMM 参数估计下面考虑多元线性回归模型的GMM 参数估计，假设回归方程为t t ty x u β'=+，t=1，2，...，T (10.3.1)式中：解释变量向量12(,,...,)t t t kt x x x x '=，参数向量12(,,...,)k ββββ'=，T 是样本个数。

对于k 维单方程参数向量β的GMM 估计，由于解释变量向量t x 与随机扰动项t u 可能相关，因此可以假设存在含有L （L ≥k ）个分量的工具变量向量t z 与随机扰动项不相关，（如果假设t x 与随机扰动不相关，t z 就是t x ），t 时刻含有L 个变量的向量t z 与t u 满足L 个正交的矩条件：()0t t E z u = （10.3.2）式中：11(,,...,)t t t Lt z z z z '=是L 维向量。

相应的L 个样本矩为1()m z u b T ∧'= （10.3.3）式中：Z 是工具变量数据矩阵，()u b ∧是式（10.3.2）的残差序列。

选择参数估计量b ，使式（10.3.3）所示的加权距离最小。

21()()Q u b A z u b T ∧∧⎡⎤⎡⎤''=⎢⎥⎢⎥⎣⎦⎣⎦ （10.3.4） 样本矩m 的协方差矩阵为21cov(,)z u u z T ∧∧''Ω= （10.3.5）可以使用White 异方差一致方差或Newey-West HAC 一致协方差估计Ω矩阵，则1A -=Ω。