第四章最小二乘法与组合测量§1概述最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。

对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。

例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。

另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。

最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。

本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。

§2最小二乘法原理最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。

对某量x 测量一组数据n x x x ,,,21 ，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：n σσσ ,,21记最可信赖值为x ，相应的残差x x v i i -=。

测值落入),(dx x x i i +的概率。

根据概率乘法定理，测量n x x x ,,,21 同时出现的概率为显然，最可信赖值应使出现的概率P 为最大，即使上式中页指数中的因子达最小，即权因子：22oi iw σσ=即权因子i w ∝21i σ，则再用微分法，得最可信赖值x11ni ii nii w xx w===∑∑即加权算术平均值这里为了与概率符号区别，以i ω表示权因子。

特别是等权测量条件下，有：以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。

它是以最小二乘方而得名。

为从一组测量数据中求得最佳结果，还可使用其它原理。

例如（1）最小绝对残差和法：Min v i =∑ （2）最小最大残差法：Min v i =max （3）最小广义权差法：Min v v i i =-m in m ax以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，至今仍用得最广泛。

§3.线性参数最小二乘法先举一个实际遇到的测量问题，为精密测定三个电容值:321,,x x x 采用的测量方案是，分别等权、独立测得323121,,,x x x x x x ++,列出待解的数学模型。

1x =0.32x =-0.4 1x +3x =0.52x +3x =-0.3这是一个超定方程组，即方程个数多于待求量个数，不存在唯一的确定解，事实上，考虑到测量有误差，记它们的测量误差分别为4321,,,v v v v ，按最小二乘法原理∑=Min vi2分别对321,,x x x 求偏导数，令它们等于零，得如下的确定性方程组。

(1x -0.3)+(1x +3x -0.5)=0 (2x +0.4)+(2x +3x +0.3)=0 (1x +3x -0.5)+(2x +3x +0.3)=0可求出唯一解1x =0.325,2x =-0.425,3x =0.150这组解称之为原超定方程组的最小二乘解。

以下，一般地讨论线性参数测量方程组的最小二乘解及其精度估计。

一、正规方程组设线性测量方程组的一般形式为： 即式中，有n 个直接测得值n y y y ,,,21 ，t 个待求量t x x x ,,,21 。

n>t,各i y 等权，无系统误差和粗大误差。

固i y 含有测量误差，每个测量方程都不严格成立，故有相应的测量残差方程组i y 实测值j x 待估计量，最佳估计值，最可信赖值∑=tj j ijx a1最可信赖的“y ”值。

按最小二乘法原理，待求的j x 应满足上式分别对j x 求偏导数，且令其等于零，经推导得⎪⎪⎭⎪⎪⎬⎫=+++=+++=+++][][][][][][][][][][][][22112222211211221111a x a a x a a x a a a x a a x a a x a a a x a a x a a x a a t t t t t t t t t t 正规方程组式中，j a ，y 分别为如下列向量][k l a a 和][y a j 分别为如下两列向量的内积： ][k l a a =nk nl k l k l a a a a a a +++ 2211 ][y a j =n nj j j y a y a y a +++ 2211正规方程组有如下特点：（1）主对角线系数是测量方程组各列系数的平方和，全为正数。

（2）其它系数关于主对角线对称（3）方程个数等于待求量个数，有唯一解。

由此可见，线性测量方程组的最小二乘解归结为对线性正规方程组的求解。

为了便于进一步讨论问题，下面借助矩阵工具给出正规方程组的矩阵形式。

记列向量 和n ×t 阶矩阵 则测量方程组可记为：AX =Y ——一般意义下的方程组测量残差方程组记为当估计出的j x 已经是最可信赖的值，则AX 是i y 的最佳结果。

最小二乘原理记为 利用矩阵的导数及其性质有令()0x∂=∂T V V ，得正规方程组的矩阵形式。

展开系数矩阵T A A 和列向量T A L ，可得代数形式的正规方程组。

上述①②和矩阵的导数有关，因此，我们来分析“矩阵最小二乘法”。

二、矩阵最小二乘法 1.矩阵的导数设n t ⨯阶矩阵。

1112121222122()()t i t ij t ni n nt a a a A a a a a A A A a a a ⎛⎫⎪=== ⎪ ⎪⎝⎭)n 阶列向量（n+1阶矩阵）V 和t 阶列向量XV 与X 的转置（行向量）记为T V 与T X . 关于向量X 的标量函数。

定义如下几个导数。

（1）矩阵对标量x 的导数矩阵内A 元素ij a 是x 的函数，对矩阵AX 的导数，定义为各元素对x 的导数，构成新的导数矩阵。

若ij a 是变量x 的函数，则定义()ij da d dx dx=A(E-1) （2）标量函数对向量的导数标量函数ϕ，对列向量X 的导数，等于标量函数ϕ对向量X 的组成元素(1)i x i t =～的导数组成的列向量（行向量的转置）12()Tty y y y x x x x ∂∂∂∂=∂∂∂∂(E-2)标量函数ϕ，对行向量T X 的导数，等于标量函数ϕ对向量X 的组成元素(1)i x i t =～的导数组成的行向量。

21()()T T t y y y y yx x x x x∂∂∂∂∂==∂∂∂∂∂(E-3) （3）行（列）向量对列（行）向量的导数行向量T V 对列向量X 的导数等于行向量各组成元素，对列向量各组成元素分别求得11112221n n i n n t t v v x x v v v v v x x x x x xv v x x ∂∂⎛⎫ ⎪∂∂ ⎪ ⎪∂∂∂∂∂∂ ⎪∂∂== ⎪∂∂∂∂ ⎪ ⎪∂∂ ⎪ ⎪∂∂⎝⎭TV(E-4) 11122121()t TT n t T T Tn n it v v x x v v v v v x x x x x v v x x ∂∂⎛⎫ ⎪∂∂ ⎪ ⎪∂∂⎛⎫∂∂∂∂∂ ⎪∂∂== ⎪ ⎪∂∂∂∂∂⎝⎭ ⎪ ⎪∂∂ ⎪ ⎪∂∂⎝⎭＝T T V V X X (E-5)关于矩阵的导数有如下性质： （1）矩阵A 和B 乘积对标量x 的导数()d d d dx dx dx=+AB B AA B (E-6) （2）常数阵的导数为零矩阵。

0d dx=A(E-7) （3）向量关于自身转置向量的导数为单位方阵。

I ∂=∂T TX dX=X dX (E-8)（4）向量与向量转置乘积的导数()∂∂∂∂T TV V V =2V x x (E-9) ()2∂∂=∂∂T T T T V V V V X X(E-10) （5）关于常数矩阵与向量乘积的导数()∂=∂T X A A X (E-11) ()∂∂T T TA X =A X(E-12) ()∂∂∂∂T TV V AV =2AV X X(E-13) ()∂∂∂∂T TT TV AV =2V A X X(E-14) 利用（E-1）、（E-4）、和（E-5）三个定义式，容易证明式（E-6）、（E-7）、（E-8）、和（E-11）、（E-11）成立。

①以下证明式（E-9）注意到式（E-2）和式（E-4）即， 标量对列向量求导12()Ttx x x x ϕϕϕϕ∂∂∂∂=∂∂∂∂(E-2) 行向量对列向量求导111112221()n n Tn n t t v v x x v v v v v x x v v x x ∂∂⎛⎫⎪∂∂ ⎪ ⎪∂∂∂∂∂∂ ⎪∂∂== ⎪∂∂∂∂ ⎪ ⎪∂∂ ⎪ ⎪∂∂⎝⎭V X X XX(E-4) 式（E-9）左11112122()22n n i i n nt t v v v v x x v x v v v v xx ∂∂⎛⎫++ ⎪∂∂ ⎪∂⎪==∂⎪∂∂ ⎪++ ⎪∂∂⎝⎭∑类似地，可以证得式（E-10）成立。

②再证明式（E-13）注意到T V AV 是关于x 的标量函数，由式（E-2）知，只需证明由于1211121121212()()n n i i i Tn iin n n nn i i i v v v a a a x x x V v v v x v v v a a a x x x ∂∂∂⎛⎫ ⎪∂∂∂ ⎪∂⎪=∂ ⎪∂∂∂ ⎪⎪∂∂∂⎝⎭AV 11111111n ni i n n nnn n i i v v a v a v x x v v a v a v x ax α∂∂⎛⎫++ ⎪∂∂⎪ ⎪=⎪∂ ⎪++ ⎪∂⎝⎭＝11111111n n iin n n nn n i nv v a v a v x x v v a v a v x x ∂∂⎛⎫++⎪∂∂ ⎪ ⎪ ⎪∂∂ ⎪++ ⎪∂∂⎝⎭所以式（E-13）左()+2i i i AV x x x ∂∂∂===∂∂∂右T T T V V AV V AV 2.正规方程设线性测量方程组与基残差方程组分别为AX =Y (E-15) L AX =V -(E-16)式中A 为n t ⨯阶常数矩阵，X 为t 阶待求向量，L 是已知的n 阶的测量向量，（注意12,,n l l l 均是已测量所得），V 是n 阶残差向量。

由最小二乘原理 求()2∂∂=∂∂T TV V V V X X（矩阵性质(E-9)式） 注意到式（E-7）即常数阵的导数为零矩阵。

注意到式（E-11）即()∂=∂T X A A X，故所以 令()0∂=∂T V V X得正规方程组的矩阵形式 T T A A X =A L (E-18)当T A A 满秩的情形，可求出1()-=T T X A A A L (E-19)一般地，可从式（E-15）出发，用稳定的数值解法，计算A 的广义逆阵1A -得1A -=X L (E-20)要进一步去研究此问题，可参阅有关近代矩阵分析及其数值方法的专着 3．待求量X 的协方差矩阵。