因子分析ppt课件分解
6、因子分析模型中的几个重要统计量的意义: (1)因子负荷量(或称因子载荷)----是指因子结
构中原始变量与因子分析时抽取出的公共因子的相 关程度。
x* i i1F 1 i2F 2 imF m i
Cov(x , Fj ) cov( ik Fk i , Fj )
x4=三角
x5=解析几何 特征值 G
0.841
0.833 3.113 62.26%
0.444
0.434 1.479 29.58%
0.904
0.882 4.959 91.85%
0.096
0.118 0.409
方差贡献率 (变异量)
F1 体现逻辑思维和运算能力,F2 体现空间思维和推理能力
因子分析的基本理论
因子分析的基本理论
例:在企业形象或品牌形象的研究中,消费者可 以通过一个有24个指标构成的评价体系,评价百 货商场的24个方面的优劣。
但消费者主要关心的是三个方面,即商店的环境、商店的服务 和商品的价格。因子分析方法可以通过24个变量,找出反映商 店环境、商店服务水平和商品价格的三个潜在的因子,对商店 进行综合评价。而这三个公共因子可以表示为:
1 u1
2 u 2
2 2 ˆ diag ( ˆ12 , ˆ2 ˆp 其中D ,, )
2 ˆ sii aij 2 i j 1
m
上式有一个假定,模型中的特殊因子是不重要的,因 而从的分解中忽略了特殊因子的方差。
(2)基于因子分析模型的主轴因子法Principal
ˆ ˆ +D ˆ u u u u u u D ˆ Σ AA 1 1 1 2 2 2 m m m
1 u1 2 u 2 ˆ ˆ D ˆ AA ˆ m u m D pm p u m m p
直接求R*的前p个特征根和对应的正交特征向 量。得如下的矩阵:
* * * * * A 1* u1 2 u2 p up * R*特征根:1* p 0
1u1
u1 0 u 2 p u p
2 u 2
1u1 u 2 2 p u p u p p
上式给出的表达式是精确的,然而,它实际上是毫无 价值的,因为我们的目的是寻求用少数几个公共因子 解释,故略去后面的p-m项的贡献,有:
因子分析的基本理论
5、因子分析模型: 设 X i (i 1,2,, p ) p 个变量,如果表示为
X i i ai1F1 aim Fm i
X 1 1 11 X 2 2 21 或 X p p p1
(3)巴特利特球度检验(Bartlett test of sphericity )
该检验以原有变量的相关系数矩阵为出发点,其零 假设H0是:相关系数矩阵为单位矩阵,即相关系数矩 阵主对角元素均为1,非主对角元素均为0。(即原始 变量之间无相关关系)。
(4)KMO(Kaiser-Meyer-Olkin)检验
axis factoring
是对主成分方法的修正,假定我们首先对变量进 行标准化变换。则 R=AA’+D R*=AA’=R-D 2 * * h 称R 为约相关矩阵,R 对角线上的元素是 i ,而不是1。
ˆ2 r r h 1 12 1p 2 ˆ r r h 2 2p ˆ 21 R R - D ˆ2 rp1 rp 2 h p
3、因子提取和因子载荷矩阵的求解:
因子载荷矩阵求解的方法: (1)基于主成分模型的主成分分析法 (2)基于因子分析模型的主轴因子法 (3)极大似然法 (4)最小二乘法 (5)a因子提取法 (6)映象分析法
(1)基于主成分模型的主成分分析法Principal components
p 的均值为,协方差为,
即互不相关,方差不一定相等, i ~ N (0,。 i2 ) 满足以上条件的,称为正交因子模型.
如果(2)不成立,即 D( F ) I ,各公共因子之间不独立, 则因子分析模型为斜交因子模型.
因子分析案例
公因子F1 x1=代数1 x2=代数2 x3=几何 0.896 0.802 0.516 公因子F2 0.341 0.496 0.855 共同度hi 0.919 0.889 0.997 特殊因子δi 0.081 0.111 0.003
(m p)
12 22
p2
1m F1 1 2 m F2 2 F pm m p
或X μ AF
称为 F1 , F2 ,, Fm 公共因子,是不可观测的变量, 他们的系数称为因子载荷。 i 是特殊因子,是不能被 前m个公共因子包含的部分。其中:
(3)因子旋转 通过正交旋转或斜交旋转使提取出的因子具有可 解释性。 (4)计算因子得分 通过各种方法求解各样本在各因子上的得分,为 进一步分析奠定基础。
2、因子分析前提条件——相关性分析: 分析方法主要有: (1)计算相关系数矩阵(correlation coefficients matrix) 如果相关系数矩阵中的大部分相关系数值 均小于0.3,即各变量间大多为弱相关,原 则上这些变量不适合进行因子分析。 (2)计算反映象相关矩阵(Anti-image correlation matrix)
(1) cov( F , ) 0,
1 (2) D( F ) 1
F , 相互独立即不相关;
I 1
即 F1 , F2 ,, Fm 互不相关,方差为1。
( 3)
12 D ( )
2 2
2 p
(3)特征值----是第j个公共因子Fj对于X*的每一分量Xi*所提供
的方差的总和。又称第j个公共因子的方差贡献。即每个变量 与某一共同因素之因素负荷量的平方总和(因子载荷矩阵中某 一公共因子列所有因子负荷量的平方和)。 如因子分析案例中 F1的特征值 G=(0.896)平方+ (0.802)平方+(0.516)平方+(0.841)平方+(0.833)平 方=3.113
* i i 1 m
cov( ik Fk , Fj ) cov( i , Fj)
i 1
m
r ij r
cov( xi *, F j ) var( xi *) var( F j )
ij
ij(载荷矩阵 在各公共因子不相关的前提下, 中第 i 行,第 j 列的元素)是随机变量 xi* 与公共因 子 Fj的相关系数, 表示 xi* 依赖于 Fj 的程度。 反映 了第i个原始变量在第j个公共因子上的相对重要性。 因此 ij 绝对值越大,则公共因子 Fj 与原有变量 xi 的关系越强。
u1 , u2 ,, up 为对应的 1 2 p 0 为的特征根,
标准化特征向量,则
1 2 U AA + D Σ = U p
u1
u2
1 up 0
1u1u 1 2u2u2 mu mu m m1um1um1 pupup
(2)共同度----又称共性方差或公因子方差(community
或common variance)就是变量与每个公共因子之负荷量 Xi 的平方总和(一行中所有因素负荷量的平方和)。变量 的共同度是因子载荷矩阵的第i行的元素的平方和。记为
h
2 i
j 1
aij。
m
2
从共同性的大小可以判断这个原始实测变量与公共因 子间之关系程度。如因子分析案例中 共同度h12 = 0.8962 + 0.3412 = 0.919 特殊因子方差(剩余方差)----各变量的特殊因素影响大小就 是1减掉该变量共同度的值。如 i2 =1- 0.919 = 0.081
KMO检验的统计量是用于比较变量间简单相关系数矩阵 和偏相关系数的指标,数学定义为: KMO值越接近1,意味着变量间的相关性越强,原有变 量适合做因子分析;越接近0,意味变量间的相关性越 弱,越不适合作因子分析。 Kaiser给出的KMO度量标准:0.9以上非常适合;0.8表 示适合;0.7表示一般;0.6表示不太适合;0.5以下表 示极不适合。
xi i i1F1 i 2 F2 i 3 F3 i
称 F1、F2、F3 是不可观测的潜在因子,称 i 为公共因子。24个 变量共享这三个因子,但是每个变量又有自己的个性,不被包 含的部分,称为特殊因子。
因子分析的基本理论
4、主成分分析分析与因子分析的联系和差异:
(1)因子分析的前提条件鉴定 考察原始变量之间是否存在较强的相关关系,是否适 合进行因子分析。因为: 因子分析的主要任务之一就是对原有变量中信息重 叠的部分提取和综合成因子,最终实现减少变量个数 的目的。所以要求原有变量之间应存在较强的相关关 系。否则,如果原有变量相互独立,不存在信息重叠, 也就无需进行综合和因子分析。 (2)因子提取 研究如何在样本数据的基础上提取综合因子。
因子分析 Factor Analysis
因子分析的基本理论
1、什么是因子分析?
因子分析是主成分分析的推广,也是利用降维的 思想,由研究原始变量相关矩阵或协方差矩阵的内部 依赖关系出发,把一些具有错综复杂关系的多个变量 归结为少数几个综合因子的一种多元统计分析方法。
2、因子分析的基本思想:
把每个研究变量分解为几个影响因素变量,将每 个原始变量分解成两部分因素,一部分是由所有变量 共同具有的少数几个公共因子组成的,另一部分是每 个变量独自具有的因素,即特殊因子。