《周国标师生交流讲席010》向量和矩阵的范数的若干难点导引(二)一.矩阵范数的定义引入矩阵范数的原因与向量范数的理由是相似的,在许多场合需要“测量”矩阵的“大小”,比如矩阵序列的收敛,解线性方程组时的误差分析等,具体的情况在这里不再复述。
最容易想到的矩阵范数,是把矩阵A C m n可以视为一个mn维的向量(采用所谓“拉直”的变换),所以,直观上可用C mn上的向量范数来作为A C m n的矩阵范数。
比如m n 1在∣1 -范数意义下,IIAl1 ;二Ia ijI= tr(A H A) 2; (1.1 )1Zl mn A2在I2-范数意义下,∣∣A∣∣F=∑∑同|2,(1.2)Iy j A J注意这里为了避免与以后的记号混淆,下标用“F”,这样一个矩阵范数,称为Frobenius范数,或F-范数。
可以验证它们都满足向量范数的3个条件。
那么是否矩阵范数就这样解决了?因为数学上的任一定义都要与其对象的运算联系起来,矩阵之间有乘法运算,它在定义范数时应予以体现,也即估计AB的“大小”相对于A与B的“大小”关系。
定义1设A C mn,对每一个A ,如果对应着一个实函数N(A),记为IlAll ,它满足以下条件:(1)非负性:|| A||_0 ;(1 a)正定性:A=O mn= IIAII= 0(2)齐次性:||〉A||=| |||A||, • C ;(3)三角不等式:||A||A B||—||A|| ||B||, -B C m n则称N(A)=|| A||为A的广义矩阵范数。
进一步,若对C m n,C n 1C m l上的同类广义矩阵范数|| || ,有(4)(矩阵相乘的)相容性:|| A || AB ||_|| A|||| B ||, B C n I , 则称N(A) =||A||为A的矩阵范数。
我们现在来验证前面(1.1 )和(1.2 )定义的矩阵范数是否合法?我们这里只考虑(1.2 ),把较容易的(1.1 )的验证留给同学们,三角不等式的验证。
按列分块,记A=√a1,a2,…,a n), B=√b1,b2,…,b n)。
||A BII F=Ig bj,® b2), ,(a. b n)||F*1 UII2 IIa2 b2||2 Ha n g ||2(IIa1II2 +IIdIb ) +…+(IIa n Ib +||b n ||2)2 2 兰二険||2 IIa n II;2 || q II2II d ||2 …IIa n II2II b n ||2 IIdII2IIb n II2对上式中第2个括号内的诸项,应用CaUChy不等式,则有IIA + BIIF≤IIAII F +2||A||F||B||F +IIBII2=(IIAI F +IIBII F)2(1.3 )于是,两边开方,即得三角不等式。
再验证矩阵乘法相容性。
虽然这仅是一个反例,但是数学的定义是不可以有例外的。
由此,我们必须认识到,不能随便套用向量范数的形式来构造矩阵范数。
为此,我们仅给出矩阵范数的定义是不够 的,还需要研究如何构成具体的矩阵范数的方法。
当然,你也可以不去考虑构成方法,一个函数一个函数去试,只要满足条件就行。
不过这样做的工作量太大,也很盲目。
第二,在实际计算时,往往矩阵与向量出现在同一个计算问题中, 所以在考虑构造矩阵 范数时,应该使它与向量范数相容。
比如要考虑 AX 的“大小”,AX 是一个向量,但它由 A与X 相乘而得的,它与 A 的“大小”和X 的“大小”的关系如何?这提出了两类范数相容的概念。
定义2对于C mn 上的矩阵范数∣∣∙∣∣M 和C m ,C n 上的同类向量范数∣∣∙∣V ,如果成立 IIAx II V ≤ll A ∣∣M Il X I V , ^A C mn,-x C n( 1.5)则称矩阵范数Il *∣∣M 与向量范数II-I V 是相容的。
1'm nX 2 1例1. 1可以证明∣∣A ∣∣F = ∑∑ Ia ij I 2=(tr (A HA )F 是与向量范数IW 相容。
Iimg丿事实上,在(1。
2)中,取B =X ∙ C n1 ,那么∣∣A X ∣∣2 =II AB ∣∣√≤∣∣ AII F II B ∣∣F =∣∣A ∣∣F ∣∣X ∣∣2二.矩阵算子范数现在给出一种构造矩阵范数的一般方法,它可以使构造出的矩阵范数与向量范数相容, 当然,它也满足定义 1规定的4个条件。
定义3设C m ,C n 上的同类向量范数为∣∣∙∣∣V ,A C mn ,定义在C m n 空间上的矩阵A 的由向量范数∣∣∙∣V 诱导给出的矩阵范数为m l 12一一2m IFnIlABI A∑∑ Σ a k bj ≤∑∑ ∣∑Ia ii 4 j 4 k z 1i 4 j ⊂1 Jk 二IikIlb ki Im l n:工二二 Iai 4 j 4m n 2= ∖ ∑∑ I ak Ii 4 k 4可见,矩阵相容性满足。
ik 4I 2'n Ib sj l 2.s4(这一步用了 CaUChy 不等式)∑∑ Ib sj I 2H ∣A ∣2∣∣B ∣∣F(1.4 )这样就完成了对矩阵 F-范数的验证。
是不是这样直接将向量范数运用到矩阵范数就可 以了吗? No!运用L 一-范数于矩阵范数时便出了问题。
如果数在下面一个例子上就行不通。
设A=-范数的定义,I ∣A ∣∣j 1, ∣∣A ∣∣A ∣"1,2・・ ・・■ ■・・ ・・■・・1仃IIA 2Il A I U=: max Ia ij I ,那么,这样的矩阵范2=2A 。
因此,按上述矩阵∞ 2曰'2,2 II : := 2,于是2 咄 A 2IQIIA A Il 上Il All 』A ∣Q1但这是矛盾的。
所以 简单地将L.-范数运用于矩阵范数,是不可行的。
I∣A∣V=max共Il AXI VIlX I L(2.1 )可以验证,这样定义出的矩阵范数IlAl V 满足定义1规定的4个条件,同时又满足矩阵范数 与向量范数相容性要求(定义2)。
由于有什么样的向量范数IIJ V ,就有什么样的矩阵范数, 所以,这样的矩阵范数称为由向量范数诱导出的,简称诱导范数;又因为(2.1 )实际上规定了一个函数(或算子),故又称为 算子范数。
(2.1 )给定的范数实际是寻求一个最优化问题的最优值,求目标函数山AX 也的最大Xll v值,约束条件是x = 0,也就在C n 空间中除原点外的点中”个n 维向量X ,使I LA X i V VX上面第3个等号成立是因为向量Z为一个单位向量。
xI V下面我们从理论上证明这样的矩阵范数 IIAI V 满足定义1规定的4个条件,同时又满足矩阵范数与向量范数相容性要求。
定理2。
1由(2.1 )或(2.2 )给定的C m 浦上的矩阵范数满足矩阵范数定义1的4个条件,且与相应的向量范数相容。
证明:首先,矩阵范数与向量范数的相容性是不难证明的,事实上,对IIxI V =1,II A I V II XI V HI AI V = max IIAz I V -II Axh ,因此,矩阵范数与向量范数的相容性条件IIzIV T(1.5 )成立。
我们下面来验证(2.1 )或(2.2 )满足矩阵范数的4个条件。
这4个条件中,前2个也 容易验证,因此这里只来考察第 3,4个条件。
三角不等式的验证:对于任一 ^C mnIIA BII = maxII (A B )XI^max II Ax BxIkmax IIAII II BIIII 刈#IIxIUIIxIIT=max II AxII max IIBx I^II AII IIBII IIxII 1II 刈 T1矩阵相乘相容性的验证:由(1.5 ),不难有IIABxI V 勻IAI V IIBxI VW IAIbIIBIbIIxI V当 X=O 时,II A B X IV 判AII V IIB I VIIxI V所以 Il AB Il v = ma 0x ll AB X IV 引 A ∣V I ∣B I VX R||x|V至此,证实了用算子范数确能给出满足矩阵范数定义和矩阵范数与向量范数的相容性 的矩阵范数。
取得最大值。
如果直接考虑这样一个优化问题 方式定义,使问题的处理简单。
IIAII v =max X=0 IIAxI VIIxII v max I I X V TIIAxI VI IxI V,还是有困难的.可以证明,它可以下列等价 弋鴛宀儿 (2.2)事实上,分母上的IIxII V是一个正数(XHO ), 那么根据向量范数的齐次性有 max≡V=max X=0IIxIL X=0IIxI V 1AX=max AF X [I ∣x ∣V X 式 VJIXI V J^maxV=mαx ∣Aχ∣VV推论1对于C nn 上的任一种向量诱导范数,都有 Illll =max Il Ix 11=1(2。
3)Il 刈 1 1但是要注意的是,对一般的矩阵范数,对任一向量X 三C n,有I ∣X ∣I=II ∣X ∣凶l ∣ llllxll故有Il I ll_1。
比如,IIAI F 不是诱导矩阵范数,所以 Ill Ik-I 。
几个常用的诱导矩阵范数上面的论述表明,诱导矩阵范数与向量范数密切相关,有何种向量范数,就有什么样的诱导矩阵范数。
下面就来具体地构造几个常用的诱导矩阵范数。
设 A C mn。
mnm nn/ mΛ∣∣A X ∣为 a ij X j ≤Σ Σ Ia Iij IlX j ∣=∑ ∣X j I ∣∑ Ia j |id : j 壬y j Λ j I i mJn≤ max I a j I 'T X jI m .max Ia j Ij =1mA I L = max I I AX I 1 込 max' Ia j1 I I X I l 1吕1 j i J另一方面,选取k ,使得m7 l4k I = max',Ia j Ii dj i =1令 X o 为第 k 的单位向量 e 1. =(0,…0,1,0,…,0)T ,那么 Ax^a^(a 1k ,a 2k/ ,a r υk )τmmI IAI =n n ax I IAxIg AX 011 =迟 la jk l = max∑ & I (++)Xl 1 =1i =Ij y综合(+)与(++)可知,由向量l 1-范数诱导出的矩阵范数既是 I IAI 1的上界,又是其下界,因此必有(3.1).例3.2 设A ^C m "n ,矩阵谱范数由l 2-范数诱导得出的矩阵范数,定义为Il A Il 2= max {丸 I 扎是 A HA 的特征值} = Jh maX (A H A) =σ1(3.2) 其中S 为A 的最大奇异值,当时,l IAI 〔2= J 扎max (A T A)(3.3)证明:首先由线性代数,A H A 是半正定矩阵,事实上,对任一 C n ,有(x, A HAX)= X HA HAX = (AX)H(AX) =∣∣A X ∣∣-0因此,A A 的特征值都为非负实数,记为 2 V ≥ ⅛ ≥ 0 ,而且A A 具有n 个相互 正交的,∣2-范数等于例3. 1设A C m n ,由向量h-范数诱导而来的mIIAI^nτj ax∑ 冋 I1沁V证明:按列分块,记A = (a ∣,a 2,…,a n ),则由(Il Alh = max I Ia j Il1 g 鱼最大列和诱导矩阵范数3.1 )和向量I i -范数的定义可知(3.1)(+)1(即标准化了的)特征向量X(I),x⑵,…,x(n),它们分别对应于特征值'1 _ '2〉■:「n _0。