-4
-2
0
2
4
-4
-2
0
2
4
主成分分析
正如二维椭圆有两个主轴，三维椭球有三 个主轴一样，有几个变量，就有几个主成 分。 选择越少的主成分，降维就越好。什么是 标准呢？那就是这些被选的主成分所代表 的主轴的长度之和占了主轴长度总和的大 部分。有些文献建议，所选的主轴总长度 占所有主轴长度之和的大约 85% 即可， 其实，这只是一个大体的说法；具体选几 个，要看实际情况而定。
因子分析概述

定义：因子分析以最少的信息丢失为前提,将 众多的原有变量综合成较少几个综合指标,名 为因子。通常,因子有以下几个特点
因子个数远远少于原有变量的个数 因子能够反映原有变量的绝大部分信息 因子之间的线性关系不显著（即独立的）
因子具有命名解释性
因子分析的数学模型和相关概念
• 这里每一列代表一个主成分作为原来变量线性组 合的系数（比例）。比如第一主成分作为数学、 物理、化学、语文、历史、英语这六个原先变量 的线性组合，系数（比例）为 -0.806, -0.674, 0.675, 0.893, 0.825, 0.836。
• 如 用 x1 ,x2 ,x3 ,x4 ,x5 ,x6 分 别 表 示 原 先 的 六 个 变 量 ， 而 用 y1,y2,y3,y4,y5,y6 表示新的主成分，那么，原先六个变量 x1,x2,x3,x4,x5,x6与第一和第二主成分y1,y2的关系为： X1=-0.806y1 + 0.353y2 X2=-0.674y1 + 0.531y2 X3=-0.675y1 + 0.513y2 X4= 0.893y1 + 0.306y2 x5= 0.825y1 + 0.435y2 x6= 0.836y1 + 0.425y2 • 这些系数称为主成分载荷（ loading ），它表示主成分和相 应的原先变量的相关系数。 • 比如 x1 表示式中 y1 的系数为 -0.806 ，这就是说第一主成分和 数学变量的相关系数为-0.806。 • 相关系数 ( 绝对值）越大，主成分对该变量的代表性也越大。 可以看得出，第一主成分对各个变量解释得都很充分。而最 后的几个主成分和原先的变量就不那么相关了。
因主 子成 分分 析分 析 和
案例1：成绩排名

100个学生的数学、物理、化学、语文、历 史、英语的成绩如下表（部分）。
主成分分析




当坐标轴和椭圆的长短轴平行，那么代表 长轴的变量就描述了数据的主要变化，而 代表短轴的变量就描述了数据的次要变化。 但是，坐标轴通常并不和椭圆的长短轴平 行。因此，需要寻找椭圆的长短轴，并进 行变换，使得新变量和椭圆的长短轴平行。 如果长轴变量代表了数据包含的大部分信 息，就用该变量代替原先的两个变量（舍 去次要的一维），降维就完成了。 椭圆（球）的长短轴相差得越大，降维也 越有道理。
Component Plot
1.0
.5
phys chem math
history english literat
0.0
该图左面三个点是数学、物理、化学三科，右边三个点 是语文、历史、外语三科。图中的六个点由于比较挤， -.5 不易分清，但只要认识到这些点的坐标是前面的第一二 主成分载荷，坐标是前面表中第一二列中的数目，还是 可以识别的。
常用方法：主成分分析法
因子提取和因子载荷矩阵的求解

计算因子载荷矩阵
后面的是特征根乘以特征向量 根据特征根确定因子数：一般选取特征值大于1 的特征根，或者固定提取几个因子（根据因子的 累计方差贡献率）
-1.0 -1.0 -.5 0.0 .5 1.0
Component 1
因子分析
ห้องสมุดไป่ตู้


主成分分析从原理上是寻找椭球的所有主轴。因此， 原先有几个变量，就有几个主成分。 而因子分析是事先确定要找几个成分，这里叫因子 （factor）（比如两个），那就找两个。 这使得在数学模型上，因子分析和主成分分析有不少 区别。根据因子分析模型的特点，它还多一道工序： 因子旋转（factor rotation）；可以使结果更好。 当然，对于计算机来说，因子分析并不比主成分分析 多费多少时间。 从输出的结果来看，因子分析也有因子载荷（ factor loading）的概念，代表了因子和原先变量的相关系数。 但是在输出中的因子和原来变量相关系数的公式中的 系数不是因子载荷，也给出了二维图；该图虽然不是 载荷图，但解释和主成分分析的载荷图类似。
因子分析的前提条件
如果原有变量之间不存在较强的相关关系,那 么就无法从中综合出能够反映某些变量共同特 性的几个较少的公共因子。因此,一般在因子 分析时需首先对因子分析的条件,即原有变量 是否相关进行研究计算相关系数矩阵 常用指标：计算相关系数矩阵和利用KMO检验

因子提取和因子载荷矩阵的求解


数学模型

相关概念

因子载荷（所有系数构成矩阵即因子载荷） 变量共同度（即变量X有多少东西饭反映了他） 因子的方差贡献（第一列平方和加起来就是对第一个因子的贡 献 以此类推）
因子分析的基本内容

因子分析的基本步骤
因子分析的前提条件： 因子提取：方法是主成分法 使因子更具有命名可解释性： 计算各样本的因子得分

• 怎么解释这两个主成分。前面说过主成分 是原始六个变量的线性组合。是怎么样的 组合呢？SPSS可以输出下面的表。
a Com ponent Matr ix
Component 1 2 3 4 MATH -.806 .353 -.040 .468 PHYS -.674 .531 -.454 -.240 CHEM -.675 .513 .499 -.181 LITERAT .893 .306 -.004 -.037 HISTORY .825 .435 .002 .079 ENGLISH .836 .425 .000 .074 Extraction Method: Principal Component Analysis. a. 6 components extracted. 5 .021 -.001 .002 .077 -.342 .276 6 .068 -.006 .003 .320 -.083 -.197