线性估计
Q e5.526 ( X / P )0.534 (P / P )0.243 0 1 0
ˆ ln(Q) 5.52 0.534ln(X / P0 ) 0.275ln(P / P0 ) 1
线性估计
讨论
• 一般情况下，线性化估计和非线性估计结果差异 不大。如果差异较大，在确认非线性估计结果为 总体最小时，应该怀疑和检验线性模型。 • 非线性估计确实存在局部极小问题。 • 根据参数的经济意义和数值范围选取迭代初值。 • NLS估计的异方差和序列相关问题。
– 对残差平方和展开台劳级数，取二阶近似值； – 对残差平方和的近似值求极值； – 迭代。
• 与高斯－牛顿迭代法的区别
– 直接对残差平方和展开台劳级数，而不是对其中的原 模型展开； – 取二阶近似值，而不是取一阶近似值。
⒋应用中的一个困难
• 如何保证迭代所逼近的是总体极小值（即最小值） 而不是局部极小值？ • 一般方法是模拟试验：随机产生初始值→估计→改 变初始值→再估计→反复试验，设定收敛标准（例 如100次连续估计结果相同）→直到收敛。
⒌非线性普通最小二乘法在软件中的实现
• • • • • 给定初值 写出模型 估计模型 改变初值 反复估计
⒍例题
• 例 建立中国城镇居民食品消费需求函数模型。
Qe
5.568
X
0.556
P 1
0.190
P0
0.395
ˆ ln(Q) 5.53 0.540ln(X ) 0.258ln(P ) 0.288ln(P0 ) 1
i 1

( ~i ( ( 0) ) zi ( ( 0) ) ) 2 y
i 1
n
构造并估计线性伪模型
~ ( ) z ( ) ˆ yi ˆ ( 0) i ( 0) i
n
构造线性模型
S ( (1) ) ( ~i ( ( 0) ) zi ( ( 0) ) (1) ) 2 y
非线性最小二乘估计
• 变量之间的关系更多地表现为非线性特征。 线性模型作为基础模型是非线性的近似， 即任何非线性模型都可以通过线性模型来 近似表达。
• 比如，模型 y 0 1ex u • 通过泰勒级数展开表述为
y 0 1e x |x x0 ( x x0 ) u 0 1e x0 1e x u
x0 x0
0 x u
*x 2 u
的线性近似表达式为
y 0 1 (2 x) |x x0 ( x x0 ) u 0 21 x0 2 21 x0 x u 0 x u
i 1
n df ( xi , ) dS 2 ( yi f ( xi , )( )0 d d i 1
n
取极小值的 一阶条件
df ( xi , ) ( yi f ( xi , )( d ) 0 i 1
n
如何求解非 线性方程？
* * 1
• 但线性模型对非线性模型的近似程度取决于高阶部 分是否充分小。即使在样本内线性模型能够较好地 拟合数据，也不能准确地体现变量的结构关系。非 线性模型中，x对y 的边际影响（或弹性）是变化的； 而线性模型中，x对y 的边际影响（或弹性）是常数。 很多情况下，线性模型与非线性模型对边际影响或 弹性的估计存在非常大的差异。另外，利用线性模 型拟合非线性数据存在潜在的危险，即区间外预测 会存在越来越大的误差。因此，正确设定模型的形 式是进行准确推断和预测的重要环节。
• 对于一般的回归模型，如以下形式的模型， y f ( X, β) u • (1) • OLS一般不能得到其解析解。比如，运用 OLS方法估计模型（1），令S(B)表示残差 平方和，即 • (2)
S (β) u [ yi f ( Xi ; β)]
i 1 2 i i 1 n n 2
⒉ 高斯－牛顿(Gauss-Newton)迭代法
• 高斯－牛顿迭代法的原理
对原始模型展开泰勒级数，取一阶近似值
df ( xi , ) f ( xi , ) f ( xi , ( 0) ) d

( 0)
( ( 0) )
df ( xi , ) zi ( ) d
S (β) 1 n [ yi 0 1e 2 xi ]e 2 xi 0 1 2 i 1
S (β) 1 n [ yi 0 1e 2 xi ] 2 xi e 2 xi 0 2 2 i 1
• 上述方程组没有解析解，需要一般的最优 化方法。很多数值最优化算法都可以完成 这一类任务，这些方法的总体思路是一样 的。即，从初始值出发，按照一定的方向 搜寻更好的估计量，并反复迭代直至收敛。 • 各种不同的最优化算法的差异主要体现在 三个方面：搜寻的方向、估计量变化的幅 度和迭代停止法则。
y 第三步：采用普通最小二乘法估计模型 ~i zi i ，得到 的估计值 (1) ；
第四步：用 (1) 代替第一步中的 ( 0 ) ，重复这一过程，直至收敛。
⒊ 牛顿－拉夫森(Newton-Raphson)迭代法
• 自学，掌握以下2个要点
• 牛顿－拉夫森迭代法的原理
• 非线性最小二乘法的思路是，通过泰勒级 数将均值函数展开为线性模型。即，只包 括一阶展开式，高阶展开式都归入误差项。 然后再进行OLS回归，将得到的估计量作 为新的展开点，再对线性部分进行估计。 如此往复，直至收敛。
⒈ 普通最小二乘原理
yi f ( xi , ) i
残差平方和
S ( ) ( yi f ( xi , )) 2
• 最小化S(B)，即根据一阶条件可以得到
n f ( Xi ; β) S (β) 2[ yi f ( Xi ; β)] 0 β β i 1
y x u 为例，其一阶条件为 • 以模型
S (β) 1 n [ yi 0 1e 2 xi ] 0 0 2 i 1
– NLS不能直接处理。
– 应用最大似然估计。
S ( ) ( yi f ( xi , ( 0) ) zi ( ( 0) )( ( 0) )) 2
i 1
n
n
( yi f ( xi , ( 0) ) zi ( ( 0) ) ( 0) zi ( ( 0) ) ) 2
i 1
估计得到参数的第1次迭代值 (1)
迭代
• 高斯－牛顿迭代法的步骤
第一步：给出参数估计值 的初值 ( 0 ) ，将 f ( xi , ) 在 ( 0 ) 处展开台劳级数，
取一阶近似值；
df ( xi , ) 第二步：计算 zi d
( 0 )
y 和 ~i yi f ( xi , ( 0) ) zi ( 0) 的样本观测值；