CG 算法的预处理技术:、为什么要对A 进行预处理:其收敛速度依赖于对称正定阵A 的特征值分布特征值如影响收敛性:特征值分布在较小的围,从而加速CG 的收敛性特征值和特征向量的定义是什么?(见笔记本以及收藏的网页)求解特征值和特征向量的法:Davidson 法:Davidson 法是用矩阵( D - θI)- 1( A - θI) 产生子空间,这里 D 是 A 的对角元所组成的对角矩阵。
θ是由 Rayleigh-Ritz 过程所得到的A 的近似特征值。
什么是子空间法: Krylov 子空间叠代法是用来求解形如Ax=b 的程,A 是一个n*n 的矩阵,当n 充分大时,直接计算变得非常困难,而Krylov 法则巧妙地将其变为Kxi+1=Kxi+b-Axi 的迭代形式来求解。
这里的K(来源于作者俄国人Nikolai Krylov 姓氏的首字母)是一个构造出来的接近于A 的矩阵,而迭代形式的算法的妙处在于,它将复杂问题化简为阶段性的易于计算的子步骤。
如取正定矩阵Mk 为:Span 是什么?:设 ,称它们的线性组合 为向量的生成子空间,也称为由成的子空间。
记为,也可以记为什么是Jacobi 迭代法:什么是G_S 迭代法:请见PPT 《迭代法求解线性程组》什么是SOR 迭代法:什么是收敛速度:称收敛速度。
度,简为迭代法的渐近收敛速)(ln )(:5定义B B R ρ-=什么是可约矩阵与不可约矩阵?:不可约矩阵(irreducible matrix )和可约矩阵(reducible matrix )两个相对的概念。
定义1:对于 n 阶阵 A 而言,如果存在一个排列阵 P 使得 P'AP 为一个分块上三角阵,我们就称矩阵 A 是可约的;否则称矩阵 A 是不可约的。
定义2:对于 n 阶阵 A=(aij) 而言,如果指标集 {1,2,...,n} 能够被划分成两个不相交的非空指标集 J 和 K ,使得对任意的 j ∈J 和任意的 k ∈K 都有 ajk=0, 则称矩阵 A 是可约的;否则称矩阵 A 是不可约的。
n 阶矩阵A 是不可约的当且仅当与矩阵A 对应的有向图是强连通的。
什么是正交?:在三维向量空间中, 两个向量的积如果是零, 那么就说这两个向量是正交的。
换句话说, 两个向量正交意味着它们是相互垂直的。
若向量α与β正交,则记为α⊥β。
什么是正交矩阵?:如果:AA'=E (E 为单位矩阵,A'表示“矩阵A 的转置矩阵”。
)或A ′A=E ,则n 阶实矩阵A 称为正交矩阵, 若A 为单位正交阵,则满足以下条件:1) AT 是正交矩阵2)(E 为单位矩阵)3) A 的各行是单位向量且两两正交4) A 的各列是单位向量且两两正交5) (Ax,Ay)=(x,y) x,y ∈R6) |A| = 1或-1倒着写的A 和E 都是什么意思啊?:反着的E:谓词逻辑 存在量词 ∃ x: P(x) 意味着有至少一个 x 使 P(x) 为真。
n ∈ N: n 是偶数。
倒着的A:任意的∧ 逻辑合取 述 A ∧ B 为真,如果 A 与 B 二者都为真;否则为假。
n < 4 ∧ n >2 ⇔ n = 3 当 n 是自然数的时候。
与命题逻辑 ∨ 逻辑析取 述 A ∨ B 为真,如果 A 或 B (或二者)为真;如果二者都为假,则述为假。
n ≥ 4 ∨ n ≤ 2 ⇔ n ≠ 3 当 n 是自然数的时候。
迭代法与直接法比较优劣是什么?:对称正定的定义是什么?:设M 是n 阶阵,如果对任非零向量z ,都有 z'Mz > 0,其中z' 表示z 的转置,就称M 正定矩阵。
判定定理1:对称阵A 为正定的充分必要条件是:A 的特征值全为正。
判定定理2:对称阵A 为正定的充分必要条件是:A 的各阶顺序主子式都为正。
迭代法求解稀疏矩阵时是否有填充元问题?:CG 法求解线性矩阵时有无误差问题?:有。
误差可能导致收敛变慢甚至无法求解。
什么是Krylov 子空间法?:设要求解线性代数程组Ax=b ,取00010(,)(,,...,)m m m K K A r Span r Ar A r -==,其中00r b Ax =-,且0x 为初始解,从0m x K +中寻找近似解m x ,使相应的残向量与另某个子空间m L 正交,即m m m r b Ax L =-⊥ 则称m K 为Krylov 子空间,且上述法称为Krylov 子空间法。
GMRES 法的缺点是什么?:因为它实际上求式AZ=r 的解等价在在 Krylov 子空间中极小化残余向量的||.||数。
但 GMRES 会有失去超线性收敛性、可能产生停滞、GMRES 每迭代一步都要进行 Arnoldi 过程中都要消耗大量的计算时间、随着子空间维数的增大,引起存储空间过多的需求,每次迭代正交化过程所需代价显著增长等缺点。
矩阵右上角有个H ,这是什么矩阵呢?(有个T 是转置,有个H 是什么): 一般来讲A^T 表示转置,A^H 表示转置共轭,对实矩阵而言是一回事,对复矩阵而言转置共轭比单纯的转置更常用一些,比如酉变换、Hermite 型等。
什么是正交投影法和斜投影法?:从n 维向量空间中找出一个子空间h ,从其中寻找近似解,子空间h 常称为搜索空间。
如果dim m =h ,则为在h 中求出一个近似解,显然要有m 个闲置条件,通常采用m 个正交性条件,特别地,可以采用残向量r b Ax =-与m 个线性无关向量正交的条件,这m 个线性无关向量就定义了另外一个m 维子空间l ,通常称之为限制子空间或左子空间,同时称该限制条件为Petrov-Galerkin 条件。
当≠h l 时,称对应的投影法为斜交投影法,否则称为正交投影法。
什么是Hessenberg 矩阵?:假设一个N*N 矩阵A , 在i>j+1时,它的a (i,j )=0。
(A 的i,j 项=0),那么这个矩阵A 就叫做HESSENBERG MATRIX 。
常用数有哪些?:这里以Cn 空间为例,Rn 空间类似。
最常用的数就是p-数。
若,那么可以验证p-数确实满足数的定义。
其中三角不等式的证明不是平凡的,这个结论通常称为闵可夫斯基(Minkowski )不等式。
当p 取1,2,∞的时候分别是以下几种最简单的情形:1-数:║x║1=│x1│+│x2│+…+│xn│2-数:║x║2=(│x1│2+│x2│2+…+│xn│2)1/2∞-数:║x║∞=max(│x1│,│x2│,…,│xn│)共轭梯度法的原理是什么?:请见PPT《共轭梯度法》自己理解的预条件技术?:对线性程组AX=b,对A进行一些变换,例如LAL-1,使LAL-1的特征值变得相对集中,提高投影算法(CG,PCG)的收敛性。
对A进行的变化就称为预条件技术。
什么是Petrov-Galerkin条件?:预条件技术有几种?:有五种(1)对角预处理法:若A是格对角占优的矩阵,则可以选择M=diag(a11,a22,…a nn),可以通过初等矩阵变换,将A变换成M矩阵的形式。
(2)基于经典迭代的预处理法(矩阵分裂法):Jacobi,GS,Sor(3)多项式预处理法:选择一个多项式s(x)预处理矩阵选择为M-1=s(A),具体做法如下:将预处理矩阵取为一个低次的矩阵多项式M-1=s(A),原程变为:s(A)Ax=s(A)b,然后用迭代法求解。
(见兰的论文)(4)无填充不完全分解预处理法:以系数矩阵的因子分解为基础得到的预处理,这是一种比较有效的预处理程,主要有不完全LU分解,不完全Cholesky分解以及相应的块不完全分解等。
(5)子结构、区域分裂、EBE预处理途径(见永杰论文)。
什么是左预条件?:如果将迭代法应用于M-1Ax=M-1b,则称之为左预条件技术什么是右预条件?:如果将迭代法应用于AM-1z=b,再通过Mx=z,求出解x,则称之为右预条件技术。
什么是cond()?:Cond(A)称作矩阵A的条件数,为矩阵A的数与A的逆矩阵的数的乘积。
cond(A)=‖A‖·‖A-1‖。
从线性代数的分析可知,矩阵的条件数总是大于1.正交矩阵的条件数等于1,奇异矩阵的条件数为无穷大,而病态矩阵的条件数则为比较大的数据。
什么是线性无关?:向量v1,v2, ...,v n线性无关,当且仅当它们满足以下条件:如果a1,a2, ...,a n是K的元素,适合:a1v1+a2v2+ ... +a n v n= 0,那么对所有i= 1, 2, ...,n都有a i= 0。
什么是hermite矩阵即厄米特矩阵?:厄米特矩阵(Hermitian Conjugate Matrix,又译作“埃尔米特矩阵”或“厄米矩阵”),指的是自共轭矩阵。
矩阵中每一个第i 行第j 列的元素都与第j 行第i 列的元素的共轭相等。
对称矩阵是hermite矩阵的特例。
如果判断线性程组是病态?:一般当det(A)的绝对值很小时,程组Ax=b就可能是病态。
为什么预处理法备受关注?:对不同的矩阵情况,有不同的预处理案,没有一种通用的预处理案,于是出现了很多种预处理法。
预处理矩阵与迭代矩阵是什么关系?:M为预条件矩阵,G为迭代矩阵。
有G=M-1N。
什么是表征矩阵性态的条件数?:系数矩阵的最大特征值和最小特征值之比。
为什么PCG 算法强于CG 算法?:虽然共轭梯度法在理论上最多n 次迭代就可以达到精度解,但由于舍入误差的存在和矩阵A 的一些病态特性,使{p 1,p 2,。
,p k }A 正交性以及{r 1, r 2, …,r k }的正交性随着k 增加而变差。
故x n 一般不是精确解,而且降低了收敛的速度。
况对于大型和超大型的线性程组,即使n 次迭代收敛,也是实际计算中不能接受的。
于是出现了PCG ,它通过适当的预处理法引入预处理矩阵M ,使矩阵的特征值分布更为集中,降低矩阵条件数,改善矩阵病态特性,已达到提高收敛速度的目的。
矩阵谱半径定义?: 设A 是n ×n 矩阵,λi 是其特征值,i=1,2,…,n.称 ρ(A)=max{|λi|,i=1,2,……n}为A 的谱半径。
共轭梯度法的推导?:(1)采用泛函多项式的推导过程请见:网页《共轭梯度法》。
(2)用矩阵知识进行推导的过程请见:永杰的论文p34页。
什么是BEM (边界元法)?:边界元法(boundary element method )是一种继有限元法之后发展起来的一种新数值法,与有限元法在连续体域划分单元的基本思想不同,边界元法是只在定义域的边界上划分单元,用满足控制程的函数去逼近边界条件。
所以边界元法与有限元相比,具有单元个数少,数据准备简单等优点。
但用边界元法解非线性问题时,遇到同非线性项相对应的区域积分,这种积分在奇异点附近有强烈的奇异性,使求解遇到困难。