1 1
例
已知A 1
1
,求A的广义逆A。
1 1
解：A是列满秩的矩阵，可以求它的左逆
A
( AT A)1 AT
14 8 -4
2 2
2 2
验算有A A
I2 , 但AA
I
。
3
10
数值分析
数值分析
4 A Rmn是行满秩矩阵（m n, r( A) m）,则
A＝A（T AAT）1,且AA Im (但一般不成立A A In );
4
数值分析
数值分析
定理1 : x Rn是矛盾方程组Ax b的最小二乘解的 充分必要条件是 : x是方程组AT Ax AT b的解.
证明: 设有x, y Rn ,且x y,则 r( y) 2 b Ay 2 (b Ax) ( Ax Ay) 2
r( x) ( Ax Ay) 2 r( x) 2 2(r( x), Ax Ay) ( Ax Ay) 2
（2）最小二乘解不唯一；
（3）x=A+b最小二乘解中欧氏范数最小的解；
（4）A列满秩时，最小二乘解唯一。
22
数值分析
数值分析
第四节 列满秩线性最小二乘问题 的数值解法
列满秩线性最小二乘问题存在唯一解x=A+b 有四种解法： 1. 直接解法方程 ATAx=ATb 2. 正交分解法 A=QR 3. 奇异值分解法 A=U∑VT 4. 迭代法
数值分析
数值分析
1 0 B 1 0,
0 1
1 0
BT
B
1 0
1 0
0 1
1 0
0 1
2 0
0 1
B
(BT B)1 BT
1 / 2
0
0 1 1 0
1 0
0 1 / 2
1
0
1/ 2 0
0 1
1 0
C
1
0
2 3
1 2
,
CC
T
1
0
2 3
1
2
2 1
3 2
1 14
13 8
8
6
1
C
如 果 存 在x Rn , 对 任 意y Rn ,使
(r( x), Ax Ay) 0 则 有 r( x) 2 r( y) 2 , y Rn
即x是 矛 盾 方 程 组Ax b的 最 小 二 乘 解.
5
数值分析
数值分析
对x Rn ,(r( x), Ax Ay) 0,y Rn ( x y)T AT r( x) 0,y Rn
数值分析
第四章 最小二乘问题
问题的提出
给定m 1个数据点xi x0 , x1 ,L , xm ,
yi y0 , y1 ,L , ym ,
及基函数
j( x)
n j0
(m n)
构造出拟合函数s( x) H span0 ( x),L ,n ( x),
m
使
( yi s( xi ))2 min (1)
AT r( x) 0 r( x) N ( AT ) AT (b Ax) 0 AT Ax AT b 即存在x Rn ,使(r( x), Ax Ay) 0,y Rn 存在x Rn ,使AT Ax AT b
证毕
AT Ax AT b称为最小二乘问题的法方程. 求x使 b Ax 2 min 求x使AT Ax AT b
A为行满秩时，称A为A的“右逆”。
例
已知A
1 1
2 2
3 1
6 2
,
求A的广义逆A。
解：A是行满秩的矩阵，可求它的右逆
1
A AT ( AAT )1 1 2
76 11
8
9
18
23
4
11
验算有AA
1 0
0 1
I2 , 但A
A
I
。
4
数值分析
数值分析
定理 2 设矩阵A Rmn有奇异值分解
A U r
i0
等价于 AT AC ATY 或 GC F
1
数值分析
数值分析
0 ( x0 ) 1( x0 ) L
其中
A
(0
,
1
,
...,
n
)
0 ( x1
L
)
1( x1 )
L
L L
0( xm ) 1( xm ) L
Y ( y0 , y1 ,L , ym )T
n( x0 )
n
(
x1
)
L
n( xm )
(0,0 )
对于列正交的矩阵Q Rmn，有Q QT。
15
数值分析
数值分析
定理 3 设A Rmn , 秩r( A) 0,则必有列
满秩矩阵B Rmr和行满秩矩阵C Rrn , 使A BC
称为矩阵A的满秩分解（简称秩分解）。
证
:
PAQ
Ir 0
0 0 ,
Ir
0
0 0
Ir 0
Ir
0
A
P
1
Ir 0
7
数值分析
数值分析
第二节 矩阵的广义逆
若A Rnn可 逆,则 存 在 逆 阵A1 ,且 有 AA1 A A, A1 AA1 A1 , ( AA1 )T AA1 , ( A1 A)T A1 A
Ax b的 解x A1b.
若A Rnn不可逆，或A Rmn， 是否有类似的性质
8
数值分析
数值分析
定义 设 A Rmn，若存 n m矩阵 X Rnm
满足以下四个条件（也称为Penrose条件）:
1 AXA A;
2 XAX X;
3（ AX）T AX; 4 ( XA)T XA
则称X 是矩阵A的广义逆，又称为Penrose-Moore
广义逆，并记为A（ 也称为加号逆，或为伪逆）。
A+的简单性质
17
数值分析
数值分析
(3)r(
A)
1,
A
a11 a21
a12 a22
a11 ba11
a12
ba12
1
b
a11
a12
-1 2 1
例:设A= -1 2 1 ,试用A的满秩分解求广义逆A+。
0 3 2
1 0
解 : r( A) 2, A 1 0
0 1
1 0
2 3
1 2 BC
18
s( L
x1 L
)
c00 ( x1 )
c11( x1 )
...
cnn ( x1 )
y1
s( xm ) c00 ( xm ) c11( xm ) ... cnn ( xm ) ym
S Y AC Y
显然这是不能成立的。只能求出C使 AC Y 2 min 2
C是矛盾方程组 AC Y 的最小二乘解。
25
数值分析
数值分析
例 用正交分解法求解矛盾方程组Ax b
1 1 2 2
2
2
2
1 1
2
2
A 2
2
2 ,
b 2
1
1
2
2 2
2
0
2
1
1 2
2
2 2
2
解：(1)对A用Householder变化换做正交分解A QR
1 1
2
2
0
1
2
1
Q
2
0
1 2
1 2
1 1 0 , R 0 1 1
B A
1 0
0 0
( AB) B A
但是,当A列满秩, B行满秩时, 有( AB) B A
13
数值分析
数值分析
例 如:
A
1 0,
B 1 1,
1 1 AB 0 0,
( AB)
1 2
1 1
0 0
B
BT (BBT
)1
1 2
1 1,
A ( AT A)1 AT 1
( AB) B A
14
0, B A
线性最小二乘问题：求矛盾方程组 AC Y 的最小二乘解。
3
数值分析
数值分析
第一节 求解线性最小二乘问题的一般原理
线性最小二乘问题 : 求矛盾方程组Ax b,使 r 2 b Ax 2 min的解. 其中A Rmn , (m n).
1 例 : 1
1
1
0
1 2
x1
x2
1 为矛盾方程组. 0
1当A Rnn是可逆阵时,A+ A-1;
2 ( A A)2 A A, ( AA )2 AA , ( A ) A;
9
数值分析
数值分析
3 A Rmn是列满秩矩阵（m n, r( A) n）,
则A＝（AT A）1 AT ,且A A In (但一般不成立AA Im ) A为列满秩时，称A为A的“左逆”；
BC
0
0
Q
1
P
1
Ir 0
Ir
0 Q 1
其中
16
B
P
1
Ir 0, C Ir Nhomakorabea0 Q 1
数值分析
数值分析
注（1）满秩分解不唯一
如矩阵A
1 1
0 0
,
秩r
(
A)
1,
显然
1 1
0 0
1 1
1，0
是A的一个满秩分解，
1 1
0
0
2
2
1 2
，0
也是A的一个满秩分解。
(2)A BC A C B CT (CCT )1(BT B)1 BT
C T (CC T )1