非线性最小二乘法
编辑词条分享
•新知社新浪微博腾讯微博人人网QQ空间网易微博开心001天涯飞信空间MSN移动说客
非线性最小二乘法
非线性最小二乘法是以误差的平方和最小为准则来估计非线性静态模型参数的一种参数估
计方法。

编辑摘要
目录
1 简介
2 推导
3 配图
4 相关连接
非线性最小二乘法 - 简介
以误差的平方和最小为准则来估计非线性静态模型参数的一种参数估计方法。

设非线性系统的模型为y＝f(x，θ) 式中y是系统的输出，x是输入，θ是参数（它们可以是向量）。

这里的非线性是指对参数θ的非线性模型，不包括输入输出变量随时间的变化关系。

在估
计参数时模型的形式f是已知的，经过N次实验取得数据(x1,y1),(x2,y1)， ,(xn，yn)。

估计参数的准则（或称目标函数）选为模型的误差平方和非线性最小二乘法就是求使Q达到极小的参数估计值孌。

推导
非线性最小二乘法 - 推导
以误差的平方和最小为准则来估计非线性静态模型参数的一种参数估计方法。

设非线
性系统的模型为
y＝f(x，θ)
式中y是系统的输出，x是输入，θ是参数（它们可以是向量）。

这里的非线性是指对参数θ的非线性模型，不包括输入输出变量随时间的变化关系。

在估计参数时模型的形式f是已知的，经过N次实验取得数据(x1,y1),(x2,y1)， ,(x n，y n)。

估计参数的准则（或称目标函数）选为模型的误差平方和
非线性最小二乘法就是求使Q达到极小的参数估计值孌。

由于f的非线性，所以不能象线性最小二乘法那样用求多元函数极值的办法来得到参
数估计值，而需要采用复杂的优化算法来求解。

常用的算法有两类，一类是搜索算法，另
一类是迭代算法。

搜索算法的思路是：按一定的规则选择若干组参数值，分别计算它们的目标函数值并
比较大小；选出使目标函数值最小的参数值，同时舍弃其他的参数值；然后按规则补充新
的参数值，再与原来留下的参数值进行比较，选出使目标函数达到最小的参数值。

如此继
续进行，直到选不出更好的参数值为止。

以不同的规则选择参数值，即可构成不同的搜索
算法。

常用的方法有单纯形搜索法、复合形搜索法、随机搜索法等。

迭代算法是从参数的某一初始猜测值θ(0)出发，然后产生一系列的参数点θ(1)、θ(2) ，如果这个参数序列收敛到使目标函数极小的参数点孌，那么对充分大的N就可用θ(N)作为孌。

迭代算法的一般步骤是：
① 给出初始猜测值θ(0)，并置迭代步数i＝1。

② 确定一个向量v(i)作为第i步的迭代方向。

③ 用寻优的方法决定一个标量步长ρ(i)，使得 Q(θ(i))=Q(θ(i))，其中θ(i)＝θi-1+ρ(i)v(i)。

④ 检查停机规则是否满足，如果不满足,则将i加1再从②开始重复；如果满足，则
取θ(i)为孌。

典型的迭代算法有牛顿－拉夫森法、高斯迭代算法、麦夸特算法、变尺度法等。

非线性最小二乘法除可直接用于估计静态非线性模型的参数外，在时间序列建模、连
续动态模型的参数估计中，也往往遇到求解非线性最小二乘问题。

非线性最小二乘法 - 配图
非线性最小二乘法。