这时候得到一组正交基
得到另一组正交基
{v1 v2 … v������} ������������������v������ = ������������v������ (������v������ ∙ ������v������ ) = (������v������)������(������v������) (������v������ ∙ ������v������ ) = ������������������������������������v������ (������v������ ∙ ������v������ ) = ������������������ ������������v������ = 0
A = UΣ������������ A������ = VΣ������������ AA������ = UΣ������������VΣ������������ = UΣ2������������
对������������������进行特征值分解，得到 m 个特征值和 m 个特征向量，将 m 个特征向量组成矩阵就是 U矩阵。 注意到
������������������是 m x m 方阵 A = UΣ������������ A������ = VΣ������������
A������ A = VΣ������������UΣ������������ = VΣ2������������
对������������������进行特征值分解，得到 n 个特征值和 n 个特征向量，将 n 个特征向量组成矩阵就是V 矩阵。
������������ ������������
]),分解
[ΣΣ������������������������
������������ ������������
]
=
[1 0
������������
������������
−1
]
1
[������������
−
Σ������������ Σ������������ −1Σ������������ 0
������������ = ������(v1 v2 … v������) = (Av1 Av2 … Av������) ������������ = ������(v1 v2 … v������) = (������1������1 ������2������2 … ������������������������) = UΣ
{Av1 Av2 … Av������}，将其标准化
������������
=
������������������ |������������������ |
=
1 √������������
������������������
������������������ = √������������������������ = ������������������������
去掉 x,则
M������ = (x ∙ v1)Mv1 + (x ∙ v2)Mv2 M������ = (x ∙ v1)σ1u1 + (x ∙ v2)σ2u2
M������ = σ1u1(v1������������) + σ2u2(v2������������)
M = u1σ1v1������ + u2σ2v2������ 将下标相同的向量合并起来，则
−
Σ������������ Σ������������ −1Σ������������)−1 0
0 Σ������������ −1
]
[1 0
−Σ������������ Σ������������ −1 ] 1
([������������]
−
[������������������������
������
])
[ΣΣ������������������������
������������ ������������
A = U������������
AV = UΣ
或者依据上面的推导，可以得出
Av������ = ����������������
����
=
Av������ ������������
σ������ = √������������
几何意义 1
对任意矩阵 A(mxn) ������������������为 n 阶方阵，对它进行特征值分解 ������������������ = ������������ ������������
M = U������������
至此，SVD 使用3 个矩阵，������表示原始域的标准正交基
准正交基Σ表示了伸缩关系
U 表示经过M变换的域的标
2 概率统计
2.1 高斯推理
联合高斯分布p(������, ������) = ������ ([������������������������] , [ΣΣ������������������������
A = U������������
几何意义 2
v1 v2两个向量正交，经过M矩阵变换成 Mv1 Mv2也相互正交 u1 u2分别是Mv1 Mv2的单位向量
Mv1 = σ1u1 Mv2 = σ2u2 设任意向量 x 表示到v1 v2正交基上 x = (x ∙ v1)v1 + (x ∙ v2)v2 则
1 线性代数
1.1 SVD 分解
对任意矩阵 A(m x n)进行 SVD 分解 A = UΣ������������
U是 m x m 矩阵 Σ是 m x n 矩阵，除了主对角线上的元素以外全部为 0 V是 n x n 矩阵，U V都是酉矩阵 如何求出 SVD 分解后的 3 矩阵呢
������������������是 n x n 方阵
0 ������������
]
[������������
1 −1Σ������������
0 1]
[ΣΣ������������������������
������������ ������������
−1
]
=
1 [−Σ������������ −1 Σ������������
01]
[(������������