聚类分析与判别分析
P(l | x),l 1,2,, k ,然后比较这k个概率值的大小,将待判 样本归为条件概率最大的总体。
在观测到一个样品x的情况下,利用Bayes公式,可以计算
它来自第g个总体的后验概率P:(g | x)
qg fg (x)
k
。
qi fi (x)
分类: Q型聚类—对样本进行分类处理; R型聚类—对变量进行分类处理。
方法: 系统聚类法 K-均值聚类法 有序样品聚类法
个体之间距离的度量方法
针对连续变量的距离测量: 欧式距离; 欧式距离平方; 切比雪夫距离; 布洛克距离; 明可夫斯基距离; 自定义距离; 夹角余弦; 皮尔逊相关系数
案例9.3 系统聚类分析
案例9.3.sav的资料是我国2005年各地城镇居民平均每人全 年家庭收入来源统计表。试对全国各地区的收入来源结构 进行分类。
二阶段聚类分析
二阶段聚类分析是一种新型的分层聚类方法,主要用于一 般的数据挖掘和多元统计的交叉领域—模式分类,其算法 适用于任何尺度的变量。
系统聚类/层次聚类
凝聚式聚类和分解式聚类。 基本思想:距离相近的样品(或变量)先聚成类,距离相 远的后聚成类,过程一直进行下去,每个样品(或变量)总 能聚到合适的类中。 步骤:
第一步:每个样品独自聚成类,共n个类; 第二步:把距离较近的两个样品聚合为一类,形成n-1类; 第三步:将n-1个类中“距离”最近的两个类进一步聚成一类, 形成n-2类; 直至所有样品全聚成一类。
概述
聚类分析:顾名思义是一种分类的多元统计分析方法。按 照个体或样品(individuals, objects or subjects)的特征将 它们分类,使同一类别内的个体具有尽可能高的同质性 (homogeneity),而类别之间则应具有尽可能高的异质性 (heterogeneity)。
基本思想
系数 u (u1,u2,,up )' 确定的原则是使得各总体之间区别
最大,而使得每个总体内部的离差最小。
判别规则:待判样品的典型判别函数值u'x与第G类中心的 典型判别函数值u'µ(i)的绝对离差 u'x u' (i) 最小,则可以 将该样品判入第G类。
Bayes判别分析
基本思想:首先计算待判样品属于各个总体的条件概率,
针对计数变量的距离测度:
卡方距离;
Phi方距离;
针对二值变量的距离测度:
二值欧式距离;
二值欧式距离平方;
不对称指数; 不相似性测度; 方差
一般聚类个数在4-6类, 不宜太多,或太少;
聚类分析应注意的问题
所选择的变量应符合聚类的要求; 各变量的变量值不应有数量级上的差异; 各变量间不应有较强的线性相关关系。
个体与小类,小类与小类“亲疏程度”度量方法
组间平均连接距离:个体与小类中每个个体距离的平均值; 组内平均连接距离:个体与小类中每个个体距离以及小类 内各个体间距离的平均值; 最近邻距离:个体与小类中每个个体距离的最小值; 最远邻距离:个体与小Байду номын сангаас中每个个体距离的最大值; 重心距离:该个体与小类的重心点的距离; 中位数距离; 离差平方和法:使小类内离差平方和增加最小的两小类应 首先合并为一类。
指标:描述研究对象(样本或变量,常用的是样本)之间 的联系的紧密程度。“距离”和“相似系数”,假定研究 对象均用所谓的“点”来表示。
一般的规则是将“距离”较小的点或“相似系数”较大的 点归为同一类,将“距离”较大的点或“相似系数”较小 的点归为不同的类!
严格说来聚类分析并不是纯粹的统计技术,它不像其它多 元分析法那样,需要从样本去推断总体。聚类分析一般都 涉及不到有关统计量的分布,也不需要进行显著性检验。 聚类分析更像是一种建立假设的方法,而对假设的检验还 需要借助其它统计方法。
若W(X)>0,则 X G1 ;若W(X)<0,则 W(X)=0,则待判断。
X G2 ;若
各总体协方差阵相等,判别函数为线性判别函数;
各总体协方差阵不相等,判别函数为二次判别函数;
Fisher判别分析
借助方差分析思想构造一个线性判别函数:
U(X ) u1X1 u2 X2 up X p u' X
① 指定聚类数目K ② 确定K个初始类中心(用户指定或系统指定); ③ 根据距离最近原则进行分类(欧式距离); ④ 重新确定K个类中心; ⑤ 判断是否已满足终止聚类分析的条件:迭代次数或类中心偏
移程度(0.02)。
案例9.2 K中心聚类分析
案例9.2.sav的资料是我国2006年各地区能源消耗的情况。 根据不同省市的能源消耗情况,进行分类,以了解我国不 同地区的能源消耗情况。
案例9.2 二阶段聚类分析
案例9.1.sav的资料是美国22个公共团体的数据。试以“是 否使用核能源”为分类变量对这些团体进行聚类分析,其 中“1”表示使用核能源,“0”表示没有使用核能源,观测 这两类企业所属类别的情况。
K-均值聚类
是一种快速聚类法。适合处理大样本数据。 基本思想是:将每个样品分配给最近中心(均值)的类中, 具体步骤:
判别分析概述
根据已有的划分类别的有关历史资料,确定一种判定方法, 判定一个新的样本归属哪一类。
设定有k个样本,对每个样本测得p项指标的数据,已知每 个样本属于k个类别中的每一类。利用这些数据,找出一种 判别函数,使得这一函数具有某种最优性质,能把属于不 同类别的样本点尽可能地区别开来,并对测得同样p项指标 数据的一个新样本,能判定这个样本属于哪一类。
距离判别法
两个总体G1和G2,均值向量:1和2 ;协差阵: 1和 2
数据点X到总体Gi的马氏距离定义为:
D2 (X ,Gi ) (X (i) )' ( (i) )1(X (i) )(i 1,2)
设判别函数:W ( X ) D2 ( X ,G2 ) D2 ( X ,G1)