当前位置:
文档之家› 2015数据分析方法10-聚类分析
2015数据分析方法10-聚类分析
学校 1 2 3 参加科研 人数(人) 410 336 490 投入经费 (元) 4380000 1730000 220000 立项课题 数(项) 19 21 8
( 1, 2) ( 1, 3) ( 2, 3) 样本的欧氏距离 元 265000 218000 47000 万元 81.623 193.7 254.897 12
14
5.2.1 层次聚类的两种类型和两种方式
• Q型聚类:对样本进行聚类,使具有相似特
征的样本聚集在一起,差异性大的样本分离
开来。
• R型聚类:对变量进行聚类,使具有相似性
的变量聚集在一起,差异性大的变量分离开
来,可在相似变量中选择少数具有代表性的
变量参与其他分析,实现减少变量个数,达
到变量降维的目的。
分析中应反复尝试以最终得到符合实际的合
理解,并保存于SPSS变量中。
33
聚类分析(小康指数).sav
5.2.4 层次聚类的应用举例
• 1、利用31个省市自治区小康和现代化指数数 据进行层次聚类分析。
利用SPSS层次聚类Q型聚类对31个省市自 治区进行分类分析。其中个体距离采用平方 欧式距离,类间距离采用平均组间链锁距离, 由于数据不存在数量级上的差异,因此无需 进行进行标准化处理。 • 2、利用裁判打分数据进行聚类分析。
26
输出表 上表中,第一列表示聚类分析的第几步;第二、 的解释 三列表示本步聚类中哪两个样本或小类聚成一类; 第四列式个体距离或小类距离;第五、六列表示本 步聚类中参与聚类的是个体还是小类,0表示样本, 非 0 表示由第 n 步聚类生成的小类参与本步聚类;第 七列表示本步聚类的结果将在以下第几步中用到。
8、单击Statistics按钮指定输出哪些统计量
统计量 子对话框
25
合并进程表Agglomeration schedule表示输
出聚类分析的凝聚状态表;相似性矩阵
Proximity matrix表示输出个体间的距离矩阵; Cluster Membership 框中, None 表示不输出 样本所属类,Single Solution表示指定输出当 分成 n 类时各样本所属类,是单一解。 Range of solution表示指定输出当分成m至n类(m小 于等于n)时各样本所属类,是多个解。
组内平均链锁( Within-groups linkage )距
离:个体与小类中每个个体距离以及小类内
各个体间距离的平均值。
重心( Centroid clustering )距离 :个体与
小类的重心点的距离。重心点通常是由小类
中所有样本在各变量上的均值所确定的点。
离差平方和法(Ward’s method):聚类过
10
5.1.3聚类分析的几点说明
所选择的变量应符合聚类的要求:所选
变量应能够从不同的侧面反映我们研究的
目的; 各变量间不应有较强的线性相关关系
11
各 变 量的 变 量值 不 应有 数 量级 上 的差 异 (对数据进行标准化处理):聚类分析是以 各种距离来度量个体间的“亲疏”程度的, 从上述各种距离的定义看,数量级将对距离 产生较大的影响,并影响最终的聚类结果。
34
基本操作
35
输出结果 聚类表
36
输出结果 树状图
37
输出结果 冰挂图
38
5.3 K-Means聚类
• 5.3.1 K-Means聚类分析的核心步骤
• 5.3.2 K-Means聚类分析的操作步骤 • 5.3.3 K-Means聚类分析应用举例
39
5.3.1 K-Means聚类分析的核心步骤
k
平方欧式距离(Squared Euclidean distance ) =上式的平方 切比雪夫(Chebychev)距离
max xi yi max( 73 66 , 68 64 )
Block距离
x
i 1
k
i
yi 73 66 68 64
8
夹角余弦系数、相关系数等
选上统计量中的相 似性矩阵的输出结果
9
2、二值变量个体间距离的计算方式
简单匹配系数(Simple Matching) 详细见书 第245页 雅科比系数(Jaccard)
3、定序变量的计算方式
对等级值进行标准化
4、计数变量个体间距离的计算方式
卡方(Chi-Square measure)距离 Phi方(Phi-Square measure)距离
5
• 为定义个体间的距离应先将每个样本数据
看成k维空间的一个点。通常,点与点之间
的距离越小,意味着他们越“亲密”,越
有可能聚成一类,点与点之间的距离越大
,意味着他们越“疏远”,越有可能分别
属于不同的类。
• 个体间距离的定义会受变量类型的影响。
6
• 例:下表是同一批客户对经常光顾的五座商 场在购物环境和服务质量两方面的平均得分 ,现希望根据这批数据将五座商场分类。
聚类分析
10.1 聚类分析的一般问题 10.2 层次聚类 (重点)
10.3 K-Means聚类
1
10.1 聚类分析的一般问题
• 10.1.1 聚类分析的意义
• 10.1.2 聚类分析中“亲疏程度” 的度量方法 • 10.1.3 聚类分析的几点说明
2
10.1.1 聚类分析的意义
• 聚类分析是一种建立分类的多元统计分析方 法,它能够将一批样本(或变量)数据根据 其诸多特征,按照在性质上的亲疏程度(各 变量取值上的总体差异程度)在没有先验知 识(没有事先指定的分类标准)的情况下进 行自动分类,产生多个分类结果。类内部的 个体在特征上具有相似性,不同类间个体特 征的差异性较大。
输出 树状图
31
输出 冰挂图
32
10、单击 Save按钮可以将聚类分析的结果以变
量的形式保存到数据编辑窗口中。生成的变
量名为 clun_m(如 clu2_1 ),其中 n表示类数
(如2),m表示是第m次分析(如1)。
由于不同的距离计算方法会产生不同的聚
类分析结果,即使聚成n类,同一样本的类归
属也会因计算方法的不同而不同。因此实际
ቤተ መጻሕፍቲ ባይዱ15
• 凝聚方式聚类:其过程是,首先,每个个体 自成一类;然后,按照某种方法度量所有个 体间的亲疏程度,并将其中最“亲密”的个 体聚成一小类,形成 n-1 个类;接下来,再 次度量剩余个体和小类间的亲疏程度,并将 当前最亲密的个体或小类再聚到一类;重复 上述过程,直到所有个体聚成一个大类为止 。可见,这种聚类方式对n个个体通过 n-1步 16 可凝聚成一大类。
方法 子对话框
23
Measure框中给出的是不同变量类型下的个 体距离的计算方法。其中 Interval框中的方法 适用于连续型定距变量; Counts 框中的方法 适用于品质型变量;Binary框中的方法适用于 二值变量。Cluster Method框中给出的是计算 个体与小类、小类与小类间距离的方法。 7、如果参与聚类分析的变量存在数量级上的差 异,应在Transform Values框中的Standardize 选项中选择消除数量级差的方法。并指定处 理是针对变量的还是针对样本的。By variable 表示针对变量,适于 Q 型聚类分析;By case 表示针对样本,适于R型聚类分析。 24
5.2 层次聚类
• 5.2.1 层次聚类的两种类型和两种方式 • 5.2.2 个体与小类、小类与小类间“亲 疏程度”的度量方法 • 5.2.3 层次聚类的基本操作
13
5.2.1 层次聚类的两种类型和两种方式
• 层次聚类又称系统聚类,简单地讲是指聚 类过程是按照一定层次进行的。 • 层次聚类有两种类型,分别是Q型聚类和R 型聚类; • 层次聚类的聚类方式又有两种,分别是凝 聚方式聚类和分解方式聚类。
5.2.2 个体与小类、小类与小类间“ 亲疏程度”的度量方法
• SPSS 中提供了多种度量个体与小类、小类 与小类间“亲疏程度”的方法。与个体间
“亲疏程度”的测度方法类似,应首先定
义个体与小类、小类与小类的距离。距离
小的关系亲密,距离大的关系疏远。这里
的距离是在个体间距离的基础上定义的,
常见的距离有:
10.1.2 聚类分析中“亲疏程度”的度量方法
• 聚类分析中,个体之间的“亲疏程度”是 极为重要的,它将直接影响最终的聚类结
果。对“亲疏”程度的测度一般有两个角
度:第一,个体间的相似程度;第二,个
体间的差异程度。衡量个体间的相似程度
通常可采用简单相关系数等,个体间的差
异程度通常通过某种距离来测度。
编号 A商场 B商场 C商场 D商场 E商场 购物环境 73 66 84 91 94 服务质量 68 64 82 88 90
7
1、定距型变量个体间距离的计算方式
欧式距离(Euclidean distance)
2 2 2 (x y ) (73 66) (68 64) i i i 1
• K-Means聚类也称快速聚类,仍将数据看成 k 维空间上的点,仍以距离作为测度个体“ 亲疏程度”的指标,并通过牺牲多个解为代 价换得高的执行效率,其核心步骤是: 第一,指定聚类数目K 第二,确定K个初始类中心
SPSS 中初始类中心的指定方式有两种:一是 用户指定方式;二是系统指定方式。 40
27
输出第2到3类时 各样本的所属类
28
9、单击Plot按钮指定输出哪种聚类分析图。
绘图 子对话框
29
Dendrogram选项表示输出聚类分析树形图; 在 Icicle 框 中 指 定 输 出 冰 挂 图 , 其 中 , All clusters表示输出聚类分析每个阶段的冰挂图, Specified range of clusters表示只输出某个阶段 的冰挂图,输入从第几步开始,到第几步结束, 中间间隔几步;在 Orientation 框中指定如何显 示 冰 挂 图 , 其 中 , Vertical 表 示 纵 向 显 示 , Horizontal表示横向水平显示。 树形图以躺倒树的形式展现了聚类分析中 的每一次类合并的情况。 SPSS自动将各类间的 距离映射到0~25之间,并将凝聚过程近似地表 示在图上。 30