矩阵代数概述一、基本定义定义1：矩阵：一个矩阵就是一个矩阵数组，更准确地讲，一个m*n 维矩阵就有m 行和n 列。

正整数m 被称为行维数，n 被称为列维数。

111212122212n n ij m m mn a a a a a a A a a a a ⎡⎤⎢⎥⎢⎥⎡⎤==⎣⎦⎢⎥⎢⎥⎣⎦定义2：方阵方阵具有相同的行数和列数。

一个方阵的维数就是其行数和列数定义3：向量（1）一个1*m 的矩阵被称为一个（m 维）行向量，并可记为：[]12,,...,m x x x x ≡（2）一个n*1的矩阵被称为一个（n 维）列向量，并可记为：12n y y y y ⎡⎤⎢⎥⎢⎥≡⎢⎥⎢⎥⎣⎦定义4：对角矩阵当一个方阵A 的非对角元素都为零时，它就是一个对角矩阵。

我们总能将一个对角矩阵写成：1122000000ij mn a a A a a ⎡⎤⎢⎥⎢⎥⎡⎤==⎣⎦⎢⎥⎢⎥⎣⎦定义5：单位矩阵和零矩阵（1）用I （或为了强调维数而用I n ）表示的n*n 单位矩阵就是对角位置都是1，而其它位置都是0的对角阵；10002000n I I n ⎡⎤⎢⎥⎢⎥=≡⎢⎥⎢⎥⎣⎦（2）一个用0表示的m*n 零矩阵，就是所有元素都为零的m*n 矩阵。

它并不一定是方阵。

二、矩阵运算1. 矩阵加法两个都是m*n 维的矩阵A 和B 可通过对应元素相加而相加：A+B=[a ij ]+[b ij ]。

更准确地，有：111112121121212222221122n n n n m m m m mn mn a b a b a b a b a b a b A B a b a b a b +++⎡⎤⎢⎥+++⎢⎥+=⎢⎥⎢⎥+++⎣⎦数值例子：说明：不同维数的矩阵不能相加2. 数乘给定任意一个实数k （常被称为一个数量），数乘被定义为kA=[ka ij ]数值例子：3. 矩阵乘法为了使矩阵A 乘以矩阵B ，得到AB ，A 的列维数和B 的行维数必须相同。

因此，令A 为一个m*n 矩阵，而B 为一个n*p 矩阵，于是，矩阵乘法被定义为：1n ik kj k AB a b =⎡⎤=⎢⎥⎣⎦∑ 换句话说，新矩阵AB 的第（i,j ）个元素，等于A 中第i 行的每个元素与B 中第j 列对应元素的乘积之和。

如下简图可以使这个过程更一目了然：11221...n ik kj i j i j in nj k a b a b a b a b ==+++∑数值例子：略我们可以将一个矩阵与一个向量相乘。

如果A 是一个n*m 矩阵，而y 是一个m*1向量，那么Ay 就是一个n*1的向量；如果x 是一个1*n 的向量，那么xA 就是一个1*m 的向量。

矩阵加法、数乘和矩阵乘法可以用各种方式组合，而且这些运算还满足几个熟悉的基本数值运算规则。

在如下性质表中，A ，B 和C 都具有运算所需要的适当的维数，而α和β则是实数。

这些性质中的大多数都很容易从定义得到说明。

矩阵乘法的性质：(1)( α+β)A= αA+βA;(2) α(A+B)= αA +αB;(3) (αβ)A=α(βA);(4) α(AB)= (αA)B(5)A+B=B+A;(6)(A+B)+C=A+(B+C);(7)(AB)C=A(BC);(8)A(B+C)=AB+AC;(9)(A+B)C=AC+BC;(10)IA=AI=A;(11)A+0=0+A=A;(12)A-A=0;(13)A0=0A=0;(14)即使AB 和BA 都有定义，仍然会AB ≠BA对于最后一个性质：如果A 是一个n*m 矩阵，而B 是一个m*p 矩阵，那么AB 就有定义，而BA 只有在n=p 时，才有定义；如果A 是一个m*n 矩阵，而B 是一个n*m 矩阵，那么AB 和BA 都有定义，但除非A 和B 都是方阵，否则它们具有不同的维数。

即便A 和B 都是方阵，除非在特殊情况下，否则AB ≠BA 仍成立。

定义6：转置令A=[a ij ]表示一个m*n 矩阵，用A'（读作A 撇）表示A 的转置，是将A 的行和列互换后得到的n*m 矩阵。

我们可以把它写成A'=[a ji ]。

数值例子：略转置的性质：(1) (A')'=A(2) ( αA)'= αA'，α为任意数;(3) (A+B)'=A'+B';(4) (AB)'=B'A'，A 和B 分别是m*n 和n*p 矩阵;(5) x'x=∑x i 2，x 是一个n*1向量;(6) 如果A 是一个各行分别由1*k 的向量a 1,a 2,...,a n 给出的n*k 矩阵，所以可以写成：12n a a A a ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦于是：A'=(a 1' a 2' ... a n ')定义7：对称矩阵一个方阵是一个对称矩阵的充分必要条件是：A'=A如果X 是任何一个n*k 矩阵，那么X'X 总有定义并是一个对称矩阵，通过应用转置的第一和第四条性质即可看出。

分块矩阵的乘法令A 表示一个行由1*k 向量a 1,a 2,...,a n 给出的一个n*k 矩阵，令B 表示一个行由1*m 向量b 1,b 2,...,b n 给出的n*m 矩阵：12n a a A a ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦ ，12n b b B b ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦ 那么：1ni ii A B a b =''=∑ 上式中，a'i b i 对每个i ，都是一个k*m 矩阵。

因此，A'B 可写成n 个k*m 矩阵之和。

作为一个特殊情形，有：1ni i i A A a a =''=∑式中，a'i a i 对所有的i ，都是一个k*k 矩阵。

定义8：迹一个矩阵的迹是只对方阵定义的一个很简单的运算。

对任何一个n*n 矩阵A ，用tr(A)表示矩阵A 的迹，它是其主对角线元素之和。

从数学上看，即：()1n ii i tr A a ==∑迹的性质：(1)tr(In)=n;(2)tr(A')=tr(A);(3)tr(A+B)=tr(A)+tr(B);(4)对任意数量α，都有tr(αA)= αtr(A);(5)tr(AB)=tr(BA)，A 是m*n 矩阵，而B 是n*m 矩阵定义9：逆对方阵而方，逆矩阵是一个很重要的概念对一个n*n 矩阵A ，如果A -1A=AA -1=I n ，则A -1表示矩阵A 的逆，在这种情形下，A 就是可逆的或非奇异的。

否则，它就是不可逆的，或奇异的。

逆的性质：(1) 如果逆存在，它是唯一的;(2) 如果α≠0，且A 是可逆的，则(αA)-1=(1/α)A -1;(3) 如果A 和B 都是n*n 可逆矩阵，则(AB)-1=B -1A -1;(4) (A')-1= (A -1)';关于矩阵的逆的计算，这里从略。

三、线性独立与矩阵的秩对一组具有相同维数的向量而言，知道其中一个向量是否可表示成其余向量的线性组合很重要。

定义10：线性独立令{x 1,x 2,...,x r }是一组向量，若： α1x 1+α2x 2+...+αr x r =0当且仅当α1=α2=...=αr =0时，它们才是线性独立的向量。

如果上式对一组不全为零的系数成立，那么{x 1,x 2,...,x r }就是线性相关的。

{x 1,x 2,...,x r }线性相关的说法，等于说其中至少有一个向量可写成其他向量的线性组合。

定义11：秩(1)令A 是一个n*m 矩阵。

用rank(A)表示矩阵A 的秩，即A 线性独立的最大列数；(2)如果A 是一个n*m 矩阵，且rank(A)=m ，那么A 就具有列满秩；如果A 是一个n*m 矩阵，那么它的秩最大为m 。

如果一个矩阵的列构成一个线性独立集，那么它就是列满秩。

比如3*2矩阵：132600⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦ 的秩最大为2，但实际上，它的秩为1，因为第二列是第一列的2倍。

秩的性质：(1)rank(A')=rank(A);(2)如果A 是一个n*k 矩阵，则rank(A)≤min(n,k);(3)如果A 是一个k*k 矩阵，且rank(A)=k ，则A 是满秩的。

四、二次型与正定型矩阵定义12：二次型令A 为对称矩阵。

与矩阵A 相关的二次型，就是对所有n*1向量x 定义的实值函数： ()2112n nii iij i j i i j i f x x Ax a x a x x ==>'==+∑∑∑ 定义13：正定和半正定(1)对于一个对称矩阵A ，如果对除x=0外的所有n*1向量x ，都有x'Ax>0，那么我们说A 是正定的；(2)对于一个对称矩阵A ，如果对所有n*1向量x ，都有x'Ax ≥0，那么我们说A 是半正定的。

如果一个矩阵是正定或半正定的，那它就自动被假定为对称的。

正定和半正定的性质(1)正定矩阵的主对角元素都严格为正，而半正定矩阵的主对角元素都非负；(2)如果A 是正定矩阵，则A -1存在并正定；(3)如果X 是一个n*k 矩阵，则X'X 和XX'都是半正定的；(4)如果X 是一个n*k 矩阵，且rank(X)=k ，则X'X 是正定的，因此也是满秩的。

五、幂等矩阵定义14：幂等矩阵令A 为n*n 对称矩阵，当且仅当AA=A 时，我们称A 为一个幂等矩阵。

如100000001⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦就量个幂等矩阵，直接相乘就可验证。

幂等矩阵的性质：令A 为n*n 幂等矩阵：(1)rank(A)=tr(A);(2)A 是半正定矩阵我们可以构造一些很一般的幂等矩阵。

令X 表示一个rank(X)=k 的n*k 矩阵。

定义： P ≡X(X'X)-1X'M ≡I n -X(X'X)-1X'=I n -P于是，P 和M 是对称的幂等矩阵，且rank(P)=k 和rank(M)=n-k 。

这些秩很容易通过利用性质(1)得到：tr(P) =tr[(X'X)-1X'X]（根据迹的性质5）=tr(I k )=k （根据迹的性质1）。

接下来，很容易得到：tr(M)=tr(I n )-tr(P)=n-k六、线性形式和二次型的微分对于一个给定的n*1向量a ，考虑对所有n*1向量x 由f(x)=a'x 定义的线性函数。

f 对x 的导数是1*n 阶偏导数向量，也就是：()f x a x∂'=∂ 对于一个n*n 对称矩阵A ，定义二次型g(x)=x'Ax ，于是：∂g(x)/∂x=2x'A 是一个1*n 向量。