cov(xi , f j ) var(xi ) var(fj )
cov(xi , f j )
a ij
aij是xi与fj的相关系数。反映了第i个变量对第j个因素fj的相 对重要性，表示变量xi与因素fj间的密切程度。
2、变量的共同度（Communality）
变量的共同度指观测变量的方差中由公因子（因 素）决定的比例，也叫公因子方差。


-
-
-
-因素负荷矩阵,
x
x1, x 2 ,...,x p ' ,
a p1 a p2 a pm
F f1, f 2 ,...,fm ' , fi 称为公因子（commonfactors）； 1, 2 ,..., p '， i称为特殊因子(Unique factor).
.354
A3
.731
-.419
A1
.730
-.391
A8
.727
A10
.726
.355
-.332
A2
.682
-.397
A20
.653
.544
A11
.637
.505
A5
.635
-.413
A7
.598
A22
.567
A17
.567
.426
A9
.547
.378
A19
.527
.397
A13
.527
.509
A14
按照因素被抽取的顺序画出特征值随因素个数变化的 散点图。根据图的形状来判断因素的个数。曲线变平 开始的前一点认为是抽取的最大因素个数。
Scree Plot
3.5
3.0
2.5
2.0
1.5
Eigenvalue
1.0
.5
0.0
1
2
3
4
5
Component Number
6、主成分分析法的应用
（1）降低所研究的数据空间的维度； （2）可通过因子负荷的结构，弄清x变量间的某些关系； （3）多维数据的一种图形表示方法。 （4）有主成分法构造回归模型。把各主成分作为新的自 变量代替原来自变量x做回归分析； （5）用主成分分析筛选回归变量。
6.3 因素旋转 －－解释因素
因素的初始解达到了简化数据的目的，但往往很难解 释因素的意义，因为大多数因素都和很多变量相关。
因素旋转的目的是通过改变坐标轴的位置，重新分配 各个因素所解释的方差的比例，是因素结构更简单，便于 解释。转轴过程中不改变模型对数据的拟合程度，也不改 变每个变量的公因子方差（共同度）。
几种公因子法：
1、主轴因子法(Principal axis factoring) 用公因子方差代替相关矩阵主对角线上的元素1，通过该 矩阵，类似主成分法求因子解。 2、最小二乘法（Least squares） 通过使因素模型计算出的相关系数AA‘和观测到的相关系 数R之间的离差平方和达到最小来求因子解。 3、最大似然法(Maximum likelihood) 假设样本来自多元正态总体，通过构造样本的似然函数， 其中因子负荷为未知参数，使似然函数达到最大，求得 因子解。
.300
A13
.691
A10
.336
.669
A21
.758
A20
.737
A22
.428
.441
A18
.715
A16
.623
A19
.313
.557
A9
A17
.437
Extraction Method: Principal Component Analysis. Rotation Method: Varimax with Kaiser Normalization.
6.1.4 判断一组观测数据是否适合做因 素分析
1、反映象相关矩阵(Anti-image correlation matrix) 它的元素等于负的偏相关系数, 其绝对值应该很小时,适合做 因素分析。 2、巴特利特球形检验(Bartlett test of sphericity) 零假设为相关矩阵是单位矩阵。拒绝零假设时，适合做因素 分析。 3、KMO测度 KMO：0.9以上，非常适合；0.8以上，较适合；0.7，一般； 0.6，较不适合；0.5以下，很不适合做因素分析。
( 3 ) 变量xi与主成分fk之间的相关系数，即因子负荷为：
a ik vik k
（4）每个主成分所解释的方差等于所有变量在该主成分上
负荷的平方和，即k
a
2 ik
i
5、因素个数的确定
（1）特征值法
取特征值大于等于1的主成分作为初始解，放弃特征值小 于1的主成分。
Total Variance Explained
Extraction Method: Principal Component Analysis.
Extraction Sums of Squared Loadings
Total % of Variance Cumulative %
3.250
65.006
65.006
1.220
24.396
89.401
（2）碎石图检验法
4、因子抽取法(Alpha factoring)
5、映象分析法(Image analysis)
6.2.3 不同的因子求解法对结果的影响
当变量个数p不大时，主成分法和公因子法的结果会 有差异，当p较大时两者的差异不大。最大似然法比其他 解的精度明显提高。
决定选用哪种方法，需要考虑两点：1、进行因素分 析的目的；2、对变量方差的了解程度。如果目的是简化 数据，以最少的因素最大程度地解释原始数据的方差，或 者知道特殊因素和误差带来的方差很小，则适合用主成分 法。如果是确定数据的结构，且要易于解释，但不了解变 量方差的情况，则适合用公因子法。
6.1.1因素分析模型
设有n个样品，每个样品各测p个变量。为了对变量进行比较，要将每个变量进行标准化处理，使标准化 的变量的均值为0，方差为１，因此总方差为ｐ。新变量还用ｘ表示，标准化后的因素用ｆ表示，那么， 因素分析模型的一般形式为：
x1 a11f1 a12f 2 a1mf m 1
6.2求因素负荷矩阵A的初始 解-----因素抽取
6.2.1 主成分(Principal components)分析法
1、主成分分析法的原理
通过数学变换的方法，将一组（p个）相关的变量转 化成另一组不相关的变量，这些新的变量按照方差依次 递减的顺序排列。
在数学变换中，保持变量的总方差不变，使第一个 变量具有最大的方差，称为第一主成分，第二个变量的 方差次大，并且与第一个变量不相关，成为第二主成分， 依次类推，p个变量就有p个主成分。这些主成分之间互 不相关。
6.1 因素分析的原理
因素分析的基本思想是根据相关性大小把变 量分组,使得同组内的变量相关性较高,但不同组的 变量相关较低.每组变量代表一个基本结构,这个基 本结构称为公共因子(公因子或因素)。对于所研 究的问题就可试图用最少个数的不可观测的公因 子的线性组合与特殊因子之和来描述原来观测的 每一个变量。
因素fj 对数据的解释能力，可以用该因素所解释的总方 差来衡量。等于因素负荷矩阵A中第j列的各元素的平方 和。
p
g
2 j

a12j
a22 j


a
2 pj

ai2j
i 1
m
所有因素的总贡献为
g
2 j
,
j1
m
g
2 j
m个因素的解释量为 j1
p
6.1.3 因素分析的步骤
1、计算观测变量的相关矩阵，并判断是否适合做因素 分析； 2、抽取因素。确定因素个数和求解的方法； 3、因素旋转。目的是通过坐标变换使得因素解的含义 更容易解释； 4、计算因素分数。
.545
.607
A15
.455
.561
-.332
A4
.501
-.556
A18
.375
.469
A21
.516
.599
A16
.366
Extraction Method: Principal Component Analysis.
a. 5 components extracted.
5
-.390 -.467 .413 .455
a. Rotation converged in 8 iterations.
5 .305
.387
.755 .667
6.3.1 正交旋转方法(Orthogonal rotation)
2、主成分的几何意义 3、主成分的求解
设R为p个观测变量的相关矩阵，非奇异的。由于R是实 对称矩阵，通过求解可得到R的p个非零特征值，从大到小 排列为： 1>2>…>p>0,对应的一组正交的单位特征向量 为V1,V2,…,Vp.
Vi=(v1i,v2i,…,vpi)‘, 则V＝（V1，V2，…，Vp）为正交 阵。满足VV’=V’V=I, 令Q＝diag(1,2,…,p),
6.2.2 公因子分析法
因素分析模型：x=Af+ V(x)=V(Af+)=E[(Af+)(Af+)’]=AV(f)A’+V(), 即 =AA’+D, 因为x是标准化的变量，所以＝R， R＝ AA’+D 主成分分析法从解释变量的方差出发，假设变量的方差能完全 被主成分解释。而公因子法从解释变量之间的相关系数出发， 假设观测变量之间的相关能完全被公因子解释，变量的方差不 一定能完全被公因子解释。公因子模型求解时，只考虑公因子 方差。