图5-1 目标函数空间曲面的示意图
图5-2 用等高线表示的目标函数
梯度法
在任意一个初始模该点的梯度方向，即有：
0 x
g x0
g0 x x0
x
g1 g2
x1
0
x2
x
g
p
0
x
xp
梯度法
沿 g 的方向是 值上升最快的方向。因此，其反方向为：
图5-3是牛顿法搜索目标函数极小点的示意图。
-
图 5
3 牛 顿 法 搜 索 极 小 点 示 意 图
共轭梯度法
x1x2
2 x0
x2x2
2 x0
xN x2
2 x0
x1xN
2 x0
x2xN
2 x0
xN xN
（Hessian矩阵）
牛顿法
对（5.8）式再求一次导数，并设：
则得：
x
0 x
g x0 x H0 H01 g x0
写成递推公式，得：
xK1 xK HK1 g xK
地球物理反演理论
武汉大学 测绘学院 地球物理反演理论课题组
非线性反演方法
1、梯度法 2、牛顿法 3、共轭梯度法（Conjugate Gradient Method） 4、变尺度法 5、蒙特卡洛法 6、模拟退火法 7、遗传算法（simulate annealing） 8、人工神经网络（ANN）法 9、多尺度反演（Multi-Scale Inversion） 10、R.Parker法
非线性反演方法
所谓非线性问题，是指观测数据 di i 1,2,, M 和模型参数 mj j 1, 2, , M 之间不存在线性关系。这种非线性关系既可能 呈显式 d g m ，也可能呈隐式 F d,m 0 。本章要讲的是目
前地球物理资料反演中常用的一些非线性反演方法。它不涉及线 性化，而是直接解非线性问题，实现从数据空间到模型空间的直 接映射。
梯度方向，三是要有一个合适的步长。下面研究步长因子的求法：
梯度法
设第gi次搜索迭代时 x函数的负梯度方向的单位矢量为：
g xi
gi x
P g xi
gi x
则模型参数的改正量 xi为：
xi xi1 xi P
（5.5）
式中： 称为搜索（或校正）步长。
将目标函数进行台劳级数展开有：
K 1, 2,
（5.9）
牛顿法
牛顿法的不足之处在于Hessian短阵的计算工作量很大，而且 其逆往往会出现病态和奇异的情况。
梯度法和牛顿法利用了目标函数的不同性质，前者利用了目 标函数在初始模型处之梯度，即一阶偏导数，后者不仅利用了梯 度，而且利用了目标函数的曲率，即二阶偏导数。因此它们具有 不同的特性。前者在远离极小点的地方收敛较快，而后者在极小 点附近收敛比梯度法要快。
最佳步长值。
第三种方法为固定步长法。即在整个搜索的过程中，步长保持
不变，只要每次迭代时满足 xi1 xi 即可接受。
牛顿法
设目标函数 x 在 x0 点附近按台劳级数展开，并忽略二
次以上高阶项以后得：
x
x0
N x0
i1 xi
xi
1 2
N i 1
N 2 x0
j1 xix j
i 1
x
i
x
L j 1
i
x j
x
xji
i
x
gi
xT
xi
（5.6）
梯度法
将（5.5）式代入（5.6）式，则得步长计算式：
i1
P
x i i x
x
i
g i T
x xP
j 1
x j
Pj
（5.7）
第二种计算步长的方法是内插法。如对目标函数计算几个不同
的步长值，然后用抛物线方程对之进行拟合，抛物线之极小点就是
梯度法
在模型参数 m 和观测数据 d 呈隐式的情况下，有：
F d,m 0
（5.1）
设：
x d,m
（5.2）
令：
F1 d,m
F
x
F
d,
m
F2
d,
m
FM
d,
m
梯度法
如将这些非线性函数过程下式，并称之为目标函数：
x
M
Fi
x
2
i 1
（5.3）
显然， x 的零极值点，就是方程（5.1）式的解。
xix j
x0 g x0 T x 1 xT H0x 2
（5.8）
式中：
g
x0
T
x0
x0
x1
x2
x0
xN
（梯度向量）
xT x1 x2
xN （模型参数的改正向量）
牛顿法
2 x0
x1x1
2 x0
H0
x2x1
2 x0
xN x1
2 x0
当观测数据和模型参数呈显函数的情况下，在 L2 范数意义 下，目标函数写为：
x M di dir 2 i 1
式中： di 为观测值； dir 为在第 r 次迭代时之理论值。
梯度法
同样， x 的极小值所对应的模型参数 x ，就应该是待求模 型的解。在多维空间中，一般来说， x 函数是一个高次曲面。 以二维空间为例，此时 x1, x2 所形成的曲面与平行 x1 x2 的平
面之切点就是它的极小值点（图5-1）。极小值点对应 x1 ，x2 ， 就是观测数据 d 对应模型 m 之值。
如果用 x ci （ ci 是常数，相当于一系列平行于 x1 x2 的平面），与空间曲面 x x1, x2 相截，可以得到一族平面
曲线，将它们投影到x1 x2 平面上，如图5-2所示，称为曲面的 等高线族。由外向内， 值不断下降，当达到极小点时，即为 函数的极值。
不管是哪一类的反演问题，归根结底，反演过程都是一个对 目标函数(或概率、概率密度)的最优化过程，只是实现最优的途 径和方法不同罢了。
梯度法
梯度法又称最速下降法（the steepest descent method）、最 速上升法（the steepest ascent method）或爬山法。梯度法是一种 古老的反演方法，在地球物理的发展过程中曾起过重要的作用， 而且，直到目前仍有一些地球物理资料的反演问题仍采用梯度法 求解。
g x0 g0 x x0 x
（5.4）
就是 值下降最快的方向。梯度法，就是从一个初始模型出发，
沿负梯度方向搜索 函数 极小点的一种最优化方法。
不难理解，沿目标函数 x 的负梯度方向搜索，只要步长适
当，经过反复迭代，最终总可以达到目标函数的极小点。用梯度法
反演求取目标函数的极小点时，一要有一个初始模型，二是要沿负