最小二乘法及其应用
最小二乘法是一个比较古老的方法，早在十八世纪，就由高斯首先创立并成功地应用于天文观测和大地的测量工作中。
此后，近三百年来，它已被广泛应用于科学实验与工程技术中。
随着现代电子计算机的普及与发展，这个古老的方法更加显示出其强大的生命力。
最小二乘法（又称最小平方法）是一种数学优化技术。
它通过最小化误差的平方和寻找数据的最佳函数匹配。
利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
最小二乘法还可以用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
最小二乘法拟合曲线的基本原理是：成对等精度地测得一组数据x，只(i=l，2，…，n)，试找出一条最佳的拟合曲线，使得这条拟合曲线上的各点的值与测量值的差的平方和在所有拟合曲线中最小。
所谓“拟合”，即不要求所作的曲线完全通过所有的数据点，只要求所得的曲线能反映数据的基本趋势。
曲线拟合的几何解释是：求一条曲线，使数据点均在离此曲线的上方或下方不远处。
用最小二乘法拟合的曲线较为精确，接近于实际曲线。
因而，最小二乘法拟合曲线在实际生活和科学研究中有着重要的意义，并渗透到各个领域，在物理、气象、化学、医学等方面有着广泛的应用。
例如，在物理方面，我们通常通过实验测得数据，然后根据这些实验数据拟合曲线，从而总结出某种现象的规律或者变化趋势，进而采取相应的措施避免或加强其变化程度。
这对于指导我们了解物理现象，并深刻理解物理知识是非常有帮助的。
又如，在气象方面，在温室效应的研究中，科学家们通过对1860年到1980年的11个地球平均温度增加值的分析,利用最小二乘法进行曲线拟合,通过精确计算,建立了地球平均温度增加值与时间之间的函数关系。
从而得出在2080年左右,地球的平均温度会比1980年上升约6℃,从而会引起诸如冰川后退、海平面上升等一系列严重的环境问题。
到时极地冰盖就会融化,从而引起大量的洪水泛滥和大片的陆地被淹没,这一认识对进行环境质量评价和提出保护地球的措施具有重要的理论意义。
有些优化问题也可通过最小化能量用最小二乘法来表达。
在模式识别中，很多优化问题都可以用最小二乘法来解决。
以下是最小二乘法在模式识别分类问题中进行调整判别的应用。
假设对于一个C 类分类问题，我们需要找到一个线性判别方法。
现在有n 个标好类别的的样本，我们希望利用一个线性决策函数来进行分类。
通常情况下，我们都要使用偏差量w 0。
为了简化，我们用x 标记一个增广特征向量，它多了一个表示偏差量的分量，如下图所示。
如果对于偏差量没有特别地声明，我们依然用符号w 标注整个权向量。
现在的到的这个判别单元，它的输入变量是特征，输出变量是一个线性函数d(x)，称之为一个线性网络。
x 1
输出
d(x)
x d 1
图1 一个线性决策函数的连接图，其中，∑是处理单元
设用于分类的的线性网络的输出为d(x)=w ’x+w 0=w 1x 1+w 2x 2+…+w d x d +w 0 。
上图中我们用一个空心圆表示一个处理神经元，用一个黑色的圆表示一个终端神经元。
在只有一个输出的线性网络里，对应图1所示的情况，仅有一个处理单元，在这里将所有的输入进行累加求和。
通常情况下，我们会有c 个这样的函数单元d k (x )以及相应的权重向量w k ，它们之间一一对应。
对于每一个样本x i 有如下表达式：d k (x i )= w k ’ x i=∑=d j j i j k x 0,,w 。
假设现在对于每一类的目标输出为t k (x)，我们希望调整这些线性函数的权重向量从而使得它们和目标输出最接近。
可以通过使用最小二乘法实现这个目的。
首先，对于每个特征向量x i 我们计算判别输出结果和期望目标输出结果的偏差：δk(x i )=d k (x i )- t k (x i )。
然后，将这些偏差或者说近似误差平方后累加求和得到一个总的误差值，也
称为误差能量E ，E=211i k i k ))(x t -)(x (d 21∑∑==c k n i =2
11d 0j i k j i,j k ),t -x ,w (21∑∑∑===c k n i 。
为了得到对目标输出值最好的近似结果，等价于最小化E ，我们可以求它对权重系数
的微分并令微分结果为零：即，令W E ∂∂=0，即∑∑==-n i d j j i i k j i j k x t x w 10
,,,),(=0，k=1,2…c 。
我们称之为标准方程，它的解对应着最小化均值平方(LMS)，即最小化所有样本误差的平方和，也就是最小二乘法的思想。
注意到，最小二乘法调整判别将会得到目标输出值的近似结果而不管目标输出的具体形式，它可以是类别标记或者不是。
因此，我们也可以将这种方法应用到回归问题中。
例如，我们可以利用它对心电图信号中的噪声进行回归，从而消除噪声。
总之，最小二乘法作为一种数值分析方法，已经广泛应用到了科学研究的各个领域。
我们有理由相信，随着计算机的发展和数值分析方法的发展和完善，最小二乘法将会得到更加广泛的应用。