最小二乘法原理
1. 概念 最小二乘法多项式曲线拟合,根据给定的m 个点,并不要求这条曲线精确地经过这些点,而是曲线y=f(x)的近似曲线y= φ(x)。
2. 原理
给定数据点pi(xi,yi),其中i=1,2,…,m 。
求近似曲线y= φ(x)。
并且使得近似曲线与y=f(x)的偏差最小。
近似曲线在点pi 处的偏差δi= φ(xi)-yi ,i=1,2,...,m 。
常见的曲线拟合方法:
1. 是偏差绝对值最小
11min (x )y m m
i i i i i φδφ===-∑∑ 2. 是最大的偏差绝对值最小
min max (x )y i i i i
φδϕ=- 3. 是偏差平方和最小
2211min ((x )y )m m
i
i i i i φδϕ===-∑∑ 按偏差平方和最小的原则选取拟合曲线,并且采取二项式方程为拟合曲线的方法,称为最小二乘法。
推导过程:
1. 设拟合多项式为:
01...k k y a a x a x =+++
2. 各点到这条曲线的距离之和,即偏差平方和如下:
2
2
011(...)m k i i k i i R y a a x a x =⎡⎤=-+++⎣⎦∑ 3. 为了求得符合条件的a 值,对等式右边求ak 偏导数,因而我们得到了:
011
2(...)0m k i k i i y a a x a x =⎡⎤--+++=⎣⎦∑
011
2(...)0m k i
k i i y a a x a x x =⎡⎤--+++=⎣⎦∑
……..
0112( 0
k k i k i i y a a x a x x =⎡⎤--+++=⎣⎦∑
4. 将等式简化一下,得到下面的式子
01111...n n n
k
i k i
i i i i a n a x a x y ===+++=∑∑∑ 2
1011111...n n n n
k i i
k i i i i i i i a x a x a x y x +====+++=∑∑∑∑ ……
12011111...n n n n
k
k k k i
i k i i i i i i i a x a x a x y x +====+++=∑∑∑∑ 5. 把这些等式表示成矩阵形式,就可以得到下面的矩阵:
11102111111121111.........n n n k i i i i i i n n n n k i i i i i i i i i n n n n k k k k k i i i i i i i i i n x x y a a x x x x y a x x x x y ===+====+====⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦⎣⎦
∑∑∑∑∑∑∑∑∑∑∑ 6. 将这个范德蒙矩阵化简后得到:
0111122
21...1...1...k k k k n n n a y x x a y x x a y x x ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦。