1 2 的奇异值分解. 例10 求矩阵 A = 0 0 的奇异值分解 0 0
解: 可以求得矩阵
1 2 1 2 1 0 0 H A A= 2 0 00 0 = 2 4 0 0
对应的特征向量可取为 λ1 = 5, λ2 = 0 ,对应的特征向量可取为
1 1 6 2 1 2 1 1 1 0 − 3 = 2 6 2 0 1 2 0 0 6
V1 = ，
1 6 1 6 2 6
1 2 1 − 2 0
λ1 Σ 2 O H H ⋱ V ( A A)V = = O O λn
或
Σ 2 O AH AV = V O O
其中: 其中
λ1 2 Σ = ⋱ λr
设V有分块形式 有分块形式
阵的充要条件A是为正规矩阵 阵的充要条件 是为正规矩阵. 是为正规矩阵
二.矩阵的奇异值分解 矩阵的奇异值分解
现在开始论述矩阵的奇异值分解。 现在开始论述矩阵的奇异值分解。 定义2.21 设 A∈Cr m×n (r > 0) ，AH A 定义 的特征值为 的奇异值； 则称σi = λi (i = 1,2,⋯, n) 是A的奇异值；规定零矩阵 的奇异值 的奇异值 规定零矩阵0的奇异值 都是0. 都是 定理2.9 设 A∈C m×n (r > 0), 则存在 阶酉矩阵 和n阶酉 则存在m阶酉矩阵 阶酉矩阵U和 阶酉 定理 r 矩阵V,使得 矩阵 使得
，
1 0 1 例11 设矩阵 A = 0 1 1 0 0 0
，求它的奇异值分解. 求它的奇异值分解
1 1 1 x1 = 1, x2 = −1, x3 = 1 2 0 −1
从而正交矩阵
δi > 0, (i = 1 2,⋯ n) , ,
性质3 矩阵,且其特征值 性质 (1) 设 A∈Cr m×n (r > 0) ,则 AH A Hermit矩阵 且其特征值 则 是 矩阵 均是非负实数; 均是非负实数 (2) rank( AH A) = rankA ; (3) 设 A∈Cm×n , 则 A= O 的充要条件为 AH A = O 把性质2中的等式改写为 把性质 中的等式改写为 .
根据性质3, 矩阵,且其特征值均是非负实数 证 根据性质 AH A 是Hermit矩阵 且其特征值均是非负实数 矩阵 且其特征值均是非负实数, 且 记为 显然, 显然 是
λ1 ≥ λ2 ≥ ⋯≥ λr > λr+1 = ⋯= λn = 0
AH A
正规矩阵.根据性质 存在 阶酉矩阵V,使得 正规矩阵 根据性质4,存在 阶酉矩阵 使得 根据性质 存在n阶酉矩阵
所以
Σ O H A = U O OV
(证毕 证毕) 证毕 由上述定理的证明过程可知,A的奇异值是由 唯一确定的 由上述定理的证明过程可知 的奇异值是由A唯一确定的 的奇异值是由 唯一确定的, 但是,由于酉矩阵 和 是不唯一的 是不唯一的,故 的奇异值分解 的奇异值分解(2.41) 但是 由于酉矩阵U和V是不唯一的 故A的奇异值分解 由于酉矩阵 式也是不惟一的. 式也是不惟一的
= 5,σ 2 = 0 ，
Σ = ( 5)1×1 ，且使得
V = (V1
V2 ) =
1
2 ， 5 5 其中 2 1 − 5 5
V1 =
1 2 5 ,V = 5 2 2 1 − 5 5
§4 矩阵的奇异值分解 矩阵的奇异值分解在矩阵理论中的重要性是不言而喻的，它在 矩阵的奇异值分解在矩阵理论中的重要性是不言而喻的， 最优化问题、特征值问题、最小二乘方问题、 最优化问题、特征值问题、最小二乘方问题、广义逆矩阵问题 和统计学等方面都有十分重要的应用。 和统计学等方面都有十分重要的应用。 一.预备知识 预备知识 为了论述和便于理解奇异值分解， 为了论述和便于理解奇异值分解，本节回顾线性代数有关知识。 定义2.14 若实方阵Q满足 ,则称 是正交矩阵. ,则称Q是正交矩阵 定义2.14 若实方阵Q满足 QT Q = E则称Q是正交矩阵. 定义2.15 若存在正交矩阵 使得 PT AP = B则称 正交相似于 若存在正交矩阵P,使得 ,则称 正交相似于B. 则称A正交相似于 定义 n n 定义2.16 A∈C × 共轭转置矩阵记为 AH即 AH = AT . ,即 定义 定义2.17 若 AH = A ,则称 为Hermit矩阵 则称A为 矩阵. 定义 则称 矩阵 定义2.18 设 A∈Cn×n ,若 AH A = AAH,则称 为正规矩阵 则称A为正规矩阵 定义 若 则称 为正规矩阵.
A = Pdiag(δ1 ,δ 2 ,⋯,δ n )Q−1 称上式是A的正交对角分解 的正交对角分解. 称上式是 的正交对角分解
性质4 性质 (1) 设 A∈Cm×n ,则A酉相似于对角阵的充分必要条件 则 酉相似于对角阵的充分必要条件 为正规矩阵; 是A为正规矩阵 为正规矩阵 (2) 设
A∈R
n×n ,且A的特征值都是实数 则正交相似于对角矩 的特征值都是实数,则正交相似于对角矩 且 的特征值都是实数
V = (V1 V2 ),V1 ∈C
n×r r
,V2 ∈C
n×(n−r ) n−r
Σ 2 O = V1 Σ 2 O AH AV = AH AV1 AH AV2 = (V1 V2 ) O O 即 AH AV2 = O AH AV1 = V1 Σ 2
则有
(
)
(
)
,
A AV1 = V1 Σ V1H AH AV1 = Σ 2
1 1 2 1 经计算 5 1 −1 U1 = AV1 Σ = 0 0 = 0 2 5 , 0 0 0 5 3 将U 扩张成 R 的正交标准基
Σ O H A = U O OV = 0 1 0 0 0 0 1 0
, 恒存在正交阵Q， 恒存在正交阵 ，使得 QAQ = diag(λ1 , λ2 ,⋯ λn )
而且Q的 个列向量是的一个完备的标准正交特征向量系 个列向量是的一个完备的标准正交特征向量系。 而且 的n个列向量是的一个完备的标准正交特征向量系。 性质2 是非奇异矩阵，则存在正交阵P和 ， 性质 若 A∈ Rn×n ，是非奇异矩阵，则存在正交阵 和Q， 使得 PT AQ = diag(δ1,δ2 ,⋯,δn ) 其中. 其中
H 令U1 = AV Σ −1 = (u1 ,u2 ,⋯,ur ) 性代数理论知，可将两两正交的单位列向量 u1 ,u2 ,⋯,ur 根据线性代数理论知， 扩充为 Cm的标准正交基 u1 ,u2 ,⋯, ur , ur+1,⋯, um ，记矩阵 U2 = (ur+1,⋯, um ) 阶酉矩阵， 是m阶酉矩阵，且 阶酉矩阵
由
H
2 ,得 得
或
( AV1 Σ −1 ) H ( AV1 Σ −1 ) = Er
,
其中. 其中
λ1 Σ = ⋱
σ1 = ⋱ λr σr
或
由 AH AV2 = O
,得 ( AV2 ) H ( AV2 ) = O 得
AV2 = O
λ1 ≥ λ2 ≥ ⋯≥ λr > λr+1 = ⋯= λn = 0
Σ O H A = U O OV
（2.41） ）
其中矩阵 Σ = diag(σ1,σ 2 ,⋯,σ r ) ,而数 而数
σ1,σ 2 ,⋯,σ r
是矩阵A的所有非零奇异值 称式 的奇异值分解. 是矩阵 的所有非零奇异值.称式（2.41）是矩阵 的奇异值分解 的所有非零奇异值 称式（ ）是矩阵A的奇异值分解
1 0 0 U = (U1 U2 ) = 0 1 0 0 0 1 1 则A的奇异值分解是 的奇异值分解是 1 0 0 5 0
1
2 5 0 5 2 − 1 0 5 5
1 0 1 经过计算， 解 经过计算，矩阵 H A A = 0 1 1 1 1 2 的特征值为 λ1 = 3, λ2 = 1 λ3 = 0 ,对应的特征向量分别是 对应的特征向量分别是 ,
定义2.19 设 A∈Cn×n ,若AH A = AAH = E则称 为酉矩阵 ,则称 为酉矩阵. 则称A为酉矩阵 定义 若 定义2.20 设 A∈Cn×n ,若存在酉矩阵 使得 P H AP = B 若存在酉矩阵P,使得 定义 若存在酉矩阵 ,则A称酉相似于 则 称酉相似于 称酉相似于B. 性质1 阶实对称矩阵， 是的特征值， 性质 若A是n阶实对称矩阵， i (i = 1,2,⋯, n) 是的特征值，则 是 阶实对称矩阵 λ
H 1
，则
U = (U1 U2 ) = (u1 ,⋯,ur ,ur+1 ,⋯,um )
U U1 = Er ,
U U2 = O
H 2
于是
UH AV = UH (AV1
H U1 AV2 ) = H U1Σ U 2
(
O
)
U1HU`1 Σ O Σ O = H U U Σ O = O O 2 1
则称A与 正交相抵 正交相抵. 阵V,使得 B = U −1 AV ,则称 与B正交相抵 使得 则称 在上述定义中,若 和 都是 阶方阵,U=V,则 都是n阶方阵 在上述定义中 若A和B都是 阶方阵 则
B = U −1 AU
正交相似.可见正交相似概念是正交相抵概念的特殊情况 即A与B正交相似 可见正交相似概念是正交相抵概念的特殊情况 与 正交相似 可见正交相似概念是正交相抵概念的特殊情况. 定理2.10 正交相抵的两个矩阵具有相同的奇异值 正交相抵的两个矩阵具有相同的奇异值. 定理 证 若 B = U −1 AV ,则 则