此方程组称为 法方程 .
ϕ0 ,L , ϕn线性无关 ⇔ det(G ) ≠ 0.
数值分析
8
基于正交多项式的逼近函数类
设{ϕ j ( x )}( j = 0,1, ..., n)是区间[a , b]上带权ρ ( x )的正交 多项式组, 取H 为 H = span{ϕ 0 ( x ), ϕ1 ( x ), ..., ϕ n ( x )}
j =0 j j k k
数值分析
16
n
得到法方程
AT AC ∗ = AT y
其中 A = [Φ 0 , Φ1 , ⋅⋅⋅, Φ n ]
y = [ y0 , y1 , ⋅⋅⋅, ym ]
AT AC ∗ = AT y ，如果选择的基函数为幂函 ♣对于法方程
x j ( j = 0,1, ⋅⋅⋅, n) ，当 n 较大时 n ≥ 7 ，法方程往往是病态 数
i=0 i
m
0
, c1 , ⋅ ⋅ ⋅, c n ) − y i ] = min
2
称为非线性最小二乘问题。
♣有些非线性最小二乘问题可以化成线性最小二乘问题 求解。
1 如： y ( x) = , y ( x) = aebx c0 + c1 x
例题：
数值分析
19
曲面拟合
surface fitting
在三维直角坐标系 u-oxy 中 (m + 1) × ( n + 1) 个点
定理
* 若f ( x) ∈ C[a, b], 则总存在pn ( x) ∈ H n , 使得 * | | f − pn ||∞ = En .
* 定理 (切比雪夫定理) pn ( x) ∈ H n是f ( x) ∈ C[a, b]上的n次 * 最佳一致逼近多项式的充要条件是 : pn ( x)在[a, b]上至少
其中 n ≤ m 。
问题是要在曲线族 y ( x) = ∑ c jϕ j ( x) 中寻找一条曲线，在
j =0 n
某种原因下对给定数据拟合得最好。
数值分析
14
y ( x) = ∑ c∗ϕ j ( x) ，使得 定义：若曲线 j
∗ j =0
n
[∑ c∗ϕ j ( xi ) − yi ]2 = min ∑[∑ c jϕ j ( xi ) − yi ]2 ∑ j
数值分析
2
函数逼近的简单回顾
y = P ( x,) 所谓函数逼近是求一个简单的函数 是一个低次多项式,不要求 例如 P ( x ) 是一个低次多项式 不要求 通过已知的这n＋ 个点 而是要求在整体上 个点,而是要求在整体上“ 通过已知的这 ＋1个点 而是要求在整体上“尽量 的逼近原函数。这时,在每个已知点上就会有 好”的逼近原函数。这时 在每个已知点上就会有 误差 f ( x k ) − P ( x k ), k = 0,1, 2, L , n ,函数逼近就是从整 函数逼近就是从整 体上使误差 f ( x k ) − P ( x k ), k = 0,1, 2, L , n 尽量的小 一些。 一些。
数值分析
13
♣曲线拟合问题的提出：
设在 xoy 直角坐标系中给定 m+1 对数据
( xi , yi ), i = 0,1, ⋅⋅⋅, m
其中α = x0 < x1 < ⋅⋅⋅ < xm = b 。
又 选 定 n+1 个 在 区 间 [a ， b] 上 连 续 且 在 点 集
{xi , i = 0,1, ⋅⋅⋅, m}上线性无关的基函数ϕ j ( x ), j = 0,1, ⋅⋅⋅, n ，
几何解释： 几何解释：
f ( x)
f ( x ) − p* ( x )
Hn
p* ( x )
数值分析
7
设φ0 ,L , φn ∈ C[a, b],
(ϕ 0 , ϕ 0 ) (ϕ , ϕ ) 1 0 M (ϕ n , ϕ 0 ) (ϕ 0 , ϕ 1 ) (ϕ 1 , ϕ 1 ) M (ϕ n , ϕ 1 ) L L L L (ϕ 0 , ϕ n ) (ϕ 1 , ϕ n ) M (ϕ n , ϕ n ) c *0 ( f ,ϕ 0 ) * ( f ,ϕ ) 1 c 1 = , M M * c n ( f ,ϕ n )
11
离散的最佳平方逼近（最小二乘拟合） 离散的最佳平方逼近（最小二乘拟合）
数值分析
12
最小二乘拟合
观测得到某函数一组数据，求其近似表达式： 观测得到某函数一组数据，求其近似表达式：
1 1.78 2 2.24 3 2.74 4 3.74 5 4.45 6 5.31 7 6.92 8 8.85 9 10.97
数值分析
9
解 方 程 组， 得 c j =
(ϕ j , f ) (ϕ j , ϕ j )
, j = 0,1, ..., n
因 此 得最 佳 平 方 逼 近 多 项 式 n n (ϕ , f ) j s( x ) = ∑ c j ϕ j ( x ) = ∑ ϕ j ( x) j =0 j = 0 (ϕ j , ϕ j ) 平方误差为
m
法方程的解为
ϕ 2 ( xi ) ∑ j
i =0
, j = 0,1, ⋅⋅⋅, n
♣此时的{ϕ j ( x )}, j = 0,1, ⋅⋅⋅, n 的选取需要满足下式： （正 交化过程见教材）
0, k ≠ j (Φ k , Φ j ) = ∑ ϕk ( xi )ϕ j ( xi ) = i =0 a j > 0, k = j
m
其中 k ,
j = 0,1, ⋅⋅⋅, n, n ≤ m
数值分析
18
♣非线性最小二乘问题：如曲线族的的函数结构为
y ( x) = f ( x, c0 , c1 , ⋅⋅⋅, cn ) ，其中 c0 , c1 , ⋅⋅⋅, cn 为待定的参数
并且 f 与 c 为非线性关系，最小二乘问题
i
∑ [ f (x ,c
北京航空航天大学 数学与系统科学学院
Email: numerical_analysis@ Password:beihang 答疑时间：星期三下午2:00－5:00 答疑地点：主216
朱立永
数值分析
1
第五章插值与逼近
第十九讲
曲线拟合与曲面拟合
(curve fitting and surface fitting)
( xi , y j , uij ), i = 0,1, ⋅⋅⋅, m, j = 0,1, ⋅⋅⋅, n 找 一 个 p ( x, y )
| p ( xi , y j ) − uij |2 = min 使 ∑∑
j i
一般地， p ( x, y ) 在一个已知空间中取， 这个空间由函数 组
{ϕ r ( x ) Ψ s ( y ), r = 0,1, ⋅⋅⋅, M , s = 0,1, ⋅⋅⋅, N }
f ( x) − P( x) 2 =
∫
b a
[ f ( x) − P( x)]2 d x
用这种度量的函数逼近称为均方逼近或平 用这种度量的函数逼近称为均方逼近或平 方逼近。 是范数。 方逼近。这里符号 ⋅ ∞ 及 ⋅ 2 是范数。这里主要 研究在平方逼近度量标准下用代数多项式 Pn ( x) 逼近 f ( x) ∈ C[a, b] 。 4 数值分析
即∑ [ ∑ c jϕ
i= 0 j= 0
m
n
j
( x i )ϕ
m
k
( xi )] =
∑
m
i= 0
y iϕ
k
( xi)
交换 i，j，得 ∑ c j [ ∑ ϕ j ( x i )ϕ k ( x i ) ] =
j=0 i=0
n
∑
m
i=0
y iϕ k ( x i )
得到
∑c (Φ , Φ ) = (Φ , y), k = 0,1,⋅⋅⋅, n
i =0 j =0 {c j } i =0 j =0
m
n
m
n
y ∗ ( x ) 为按最小二乘原则确定的对已知数据 成立， 则称曲线
的拟合曲线。
♣记 H n = Span{ϕ 0 , ϕ1 , ⋅⋅⋅, ϕ n }
[ y ∗ ( xi ) − yi ]2 = min 最小二乘问题即为 ∑
i =0 m y ( x )∈H n
p∈H k
则称 p∗ ( x) 为子空间 H n 中对与 f(x)的最佳平方逼近元素。
特 别 的 ， 如 果 ϕ j = x j , j = 0,1, ⋅⋅⋅, n 则 称 满 足 条 件 的 p∗ ( x) ∈ H ，为函数 f（x）在区间[a，b]上带权 ρ ( x ) 的 n
n
次最佳平方逼近多项式。
数值分析
6
定理 5.7
∗
设 f ( x) ∈ C[a, b]， p ∗ ( x) ∈ H n 是子空间 Hn 中对
于 f（x）的最佳平方逼近元素的充分必要条件是
( f − p ,ϕ j ) = 0, j = 0,1, ⋅⋅⋅, n 或对于任意一个 p ( x) ∈ H n ， 总
有 ( f − p ∗ , p ) = 0 。(证明中，用到直观去构造）
j =0 n
对空间 C[a，b]的任意两个函数 f，g，定义内积
( f , g ) = ∫ ρ ( x) f ( x) g ( x)dx
a
数值分析
5
b
定义： 对于给定的函数 f ( x) ∈ C[a, b] ，若 p∗ ( x) ∈ H n ， 满足
( f − p∗ , f − p∗ ) = min( f − p, f − p )
有n + 2个依次为正或负的偏差点, 即有n + 2个点a ≤ x1 < L < xn + 2 ≤ b, 使得