除了对高斯－牛顿法非线性回归可以利用最后一次线 性近似函数线性回归的 t检验以外，检验非线性模型参 数的显著性还有多种其他方法。 下面这个渐近F分布的统计量就是其中的一种方法，即 [ S (β R ) S (β)] / g F (g, n k ) S (β) /( n k ) 这个统计量分子、分母中β 的是未对非线性模型参数 施加约束时的参数估计， β 则是对模型的某些参数施 S (β) 和S (βR )分别是对应两 加 0假设约束后的参数估计， 种参数估计的残差平方和，g是0约束参数的数量。

二、非线性模型的参数估计

参数估计也是非线性回归分析的核心步骤。非线 性回归分析参数估计的方法也有多种，基本方法同 样是最小二乘参数估计和最大似然估计。 在此，主要了解非线性回归参数的最小二乘估计，

也称“非线性最小二乘估计”。

非线性最小二乘估计就是求符合如下残差平方和
S (β) [Y f (X , β)][Y f (X , β)] ˆ ( ˆ , , ˆ ) 达到极小的β 值，即为 β 1 p 。为了方便起见 ，将把上述最优化问题的目标函数S (β) 称为“最小二 乘函数”。
1.判决系数
判决系数不涉及参数估计量的分布性质，也不需要做以这些分 布性质为基础的假设检验，因此非线性导致的问题并不影响该 统计量在评价回归方程拟合度方面的作用，仍然是评价非线性 模型合理程度的基本指标，或者说最重要的基本指标之一。 它们在非线性回归分析中的使用方法仍然是与在线性回归分析中 相同的。
R2 1
2 ( Y Y ) i
2 ˆ u i
2.t检验和总体显著性 F检验


一般在线性回归分析中检验参数显著性的标准的检验 方法，以及用于评价线性回归总体显著性的F统计量， 在非线性回归中都会遇到困难。 2 因为我们无法利用回归残差得到误差项方差 的无偏 估计。即使非线性模型的误差项 ε 服从 0均值的正态 分布，非线性回归的参数估计量，以及残差： ˆ , , ˆ ) ei Yi f ( X1 i , , X K i ; 1 P 也不像在线性回归中的参数估计和回归残差那样服从 2 正态分布，因此残差平方和不服从 分布，参数估计 量不服从正态分布，所以标准的t检验和F检验都无法 应用。
NLLS非线性最小二乘法
Y e
i
i i
2 X i
2 X i
1e
2 2 X i
Y X e
方程
1 X i e
2 2 X i
NLLS 非线性最小二乘法要解决的问题是如何求解以上的
1.试错法或直接搜索法
Yi 1e
2 X i
ui

假定
, 1 0.45
2 i
2 0.01


（1）高斯－牛顿法

该方法是常用的非线性最优化迭代算法之一，其基本 思路是：非线性最小二乘估计的问题在于最小二乘函 数 S (β) 中的 f，也就是回归模型 Y f (X, β) ε 的趋势部分不是参数向量的线性函数，因此最优化问
题
1 , , p
ˆ )][Y f ( X , β ˆ )] min S ( β ) [ Y f ( X , β ˆ ˆ
Y与 X之间构成非线性关系，且该非线性显然无法通过 初等数学变换转化为线性模型。

此外，非线性模型的转换不仅涉及到趋势性部分，也 涉及随机误差部分，因此误差项的作用方式对于非线 性模型的转化是非常重要的。有些非线性关系就是因 为误差项是可加而不是可乘的，从而导致不能利用对 数变换进行转化。例如，若常见的柯布—道格拉斯生 产函数中的随机误差项是可加而不是可乘的，即：
需要新的求解方法。



当 f是连续可微时，可以在某组参数初始值处作一阶泰 勒级数展开，得到f的线性近似，把这个线性近似函数 代入最小二乘函数得到参数的二次函数，克服参数估 计计算的困难。 但一阶泰勒级数展开得到的近似函数与原函数是有差 异的，用上述级数展开近似的方法得到的参数估计也 有偏差，偏差程度与泰勒级数展开的初始值与参数真 实值的偏差相关。 提高参数估计准确程度的途径是改进泰勒级数展开的 初始值，方法是把已经得到的参数估计作为新的参数 初始值，重新进行泰勒级数展开和参数估计。这种方 法可以反复运用，直到得到比较理想的参数估计值。 这种计算非线性回归参数估计的迭代算法称为“高斯 －牛顿法”。



此外，虽然非线性回归参数估计没有线性回归参数估 计的性质，但由参数估计值构造的相似的t统计量在大 样本时，还是渐近服从 t分布的。 因此如果利用上述线性近似最后一次迭代得到的残差 标准差作为非线性回归误差项方差的近似，也能利用 该统计量进行参数的显著性检验，或者参数取特定值 得假设检验。

3.参数显著性的F检验
4.似然比检验


似然比检验与检验在本质上是另一种非线性模型参数 显著性检验。 似然比检验的统计量为 L(β R ) 2(ln L(β R ) ln L(β)) 2 ln L(β)

在非线性回归分析中，高斯－牛顿法实质上就是非线 性模型本身的反复线性化和线性回归，适用对象是不 能通过初等数学变换转化为线性模型，但具有连续可 微函数性质，可以利用一阶泰勒级数展开强制转换成 线性模型的非线性模型。
4.牛顿一拉夫森法

这种方法可以看作是高斯—牛顿法改进方法的非线性 回归迭代算法，称为牛顿—拉夫森法（newton－ raphson method）。 牛顿 —拉夫森法的基本思想也是利用泰勒级数展开近

很显然，如果施加0约束的参数本身对模型的影 响没有显著性，那么上述F统计量的数值会很小 ，如果这些施加0约束的参数对模型的影响是明 显的，那么该统计量的数值会较大，就会有显著 性。因此，我们可以通过检验该统计量的显著性 来判断模型参数的显著性。


虽然上述 F统计量与线性回归模型的F统计量形式是相 似的，但因为模型是非线性的，因此 S (βR ) 和 S (β) 2 并不服从 分布，该统计量并不严格服从F分布，只 是近似服从F分布。在样本容量较大时，该统计量的分 布与 F分布很接近。 我们可以利用F分布检验该统计量的显著性，但检验结 果论的准确程度会受到一定影响，运用时应该加以注 意。

似，通过迭代运算寻找最小二乘函数最优解的数值解 法。

不过牛顿 —拉夫森法不是对模型非线性函数f本身做线 性近似，而是直接对最小二乘函数最优化的一阶条件 做一阶泰勒级数展开近似。


牛顿 —拉夫森方法的缺点是迭代运算中需要 反复计算梯度向量，特别是海塞矩阵的逆矩 阵，因此计算工作量很大。 高斯－牛顿法、牛顿－拉夫森法和其他各种 非线性回归参数估计方法，都包含迭代搜索 过程。这些迭代搜索法并没有严格的优劣关 系
三、非线性回归评价和假设检验

非线性回归在得到参数估计值和回归方程以后，也必 须对回归结果和模型假设的正确性进行评价和判断。 评判非线性回归的基本思路也包括回归拟合度评价， 以及模型总体和参数显著性检验等。 非线性模型参数的显著性检验常常隐含模型非线性性

的检验。由于即使非线性回归模型的误差项有好的性 质，参数估计量也不具备BLUE估计等理想性质，因 此对非线回归的评价和检验，除了不涉及参数估计量 分布性质的决定系数以外，一般要麻烦一些，而且可 靠性较差。
实际上，非线性最小二乘估计引出了非线性优化的需要。其 实最大似然估计量的计算等也需要用到非线性优化分析。
ቤተ መጻሕፍቲ ባይዱ

例：
Yi 1e2 Xi ui
2 i
ˆ (Y 1e S ( ) u
2 X i 2
)
S ( ) 2 X i 2 X i 2 (Y 1e )(e ) 0 1 S ( ) 2 X i 2 X i 2 (Y 1e )( 1e X i ) 0 2

当模型只有一个待估计参数时，最小二乘函数是模型 唯一参数的一元函数；当待估计参数有多个时，则是 参数向量 β 的向量函数。

该最小化问题在形式上与线性回归分析的最小化问题是相似 的，不同在于回归函数 f是参数的非线性函数而不是线性函数 ，因此S (β)的正规方程组不再是线性方程组，一般无法通过解 析的方法求解，必须采用某种搜索或迭代运算的非线性优化 方法获得参数估计值。
0.01 X i 2
u (Y 0.45e
)
2 u i 0.3044
1 0.5 2 0.01
u
2 i
0.0073
2. 最陡爬坡法

最陡爬坡法是常用的非线性最优化数值方法 之一。 最陡爬坡法的基本思路是：从一个初始参数

值出发，在一个给定半径的圆周上找目标函 数最大（或最小）的一组参数值，然后再以 该组参数值为出发点重复上述搜索过程，直 至收敛。
Y AK L ε
则该模型就不能通过初等数学变换转化为线性模型。



建立非线性计量经济模型的方法与建立线性模型是 相似的，通常也是根据经济理论、实际经济问题， 以及相关的数据图形等建立初步模型，然后通过对 模型的分析、检验、判断和比较，选择、确定和完 善模型。 进行线性回归分析时，如果通过分析和检验发现存

我们知道线性回归模型分析的变量线性关系只是经济变 量关系中的特例，现实中的多数经济变量关系是非线性 的。当然非线性变量关系常常可以通过初等数学变换转 化为线性回归模型，然后再运用线性回归分析方法进行 分析，但仍然有不少非线性关系无法进行这种变换。 例如，若两个经济变量之间存在关系为：

Y X ε


有些方法可能收敛要好一些，收敛速度较快，但另一 些方法则计算量较小。有时候一种算法不收敛，而另 一种算法却能轻易找出最有解，甚至在理论上相当不 严密的方法有时候也可能相当有效，而且我们往往无 法知道一种方法之所以有效的实际原因，也很难事先 知道对于某个具体问题究竟哪种方法最有效。 因此在大多数情况下，尝试不同的迭代搜索方法通常 是有价值的。