聚类分析
聚类分析是研究“物以类聚”的一种多元统计方法。

国内有人称它为群分析、点群分析、簇群分析等。

聚类分析的基本概念
聚类分析是研究对样品或指标进行分类的一种多元统计方法,是依据研究对象的个体的特征进行分类的方法。

它把分类对象按一定规则分成若干类，这些类非事先给定的，而是根据数据特征确定的。

在同一类中这些对象在某种意义上趋向于彼此相似，而在不同类中趋向于不相似。

它职能是建立一种能按照样品或变量的相似程度进行分类的方法。

聚类分析的基本思想是认为我们所研究的样本或指标（变量）之间存在着程度不同的相似性（亲疏关系）。

于是根据一批样本的多个观测指标，具体找出一些彼此之间相似程度较大的样本（或指标）聚合为一类，把另外一些彼此之间相似程度较大的样本（或指标）又聚合为另一类，关系密切的聚合到一个小的分类单位，关系疏远的聚合到一个大的分类单位，直到把所有样本（或指标）都聚合完毕，把不同的类型一一划分出来，形成一个由小到大的分类系统。

最后把整个分类系统画成一张谱系图，用它把所有样本（或指标）间的亲疏关系表示出来。

这种方法是最常用的、最基本的一种，称为系统聚类分析。

聚类分析有两种：一种是对样本的分类，称为Q型，另一种是对变量（指标）的分类，称为R型。

聚类分析给人们提供了丰富多彩的方法进行分类，这些方法大致可以归纳为：
（1）系统聚类法。

首先将n个也样品看成n类（一个类包含一个样品），然后将性质最接近的两类合并成一个新类，我们得到n-1类，再从中找出最接近的两类加以合并成了n-2类，如此下去，最后所有的样品均在一类，将上述并类过程画成一张图（称为聚类图）便可决定分多少类，每类各有什么样品。

（2）模糊聚类法。

将模糊数学的思想观点用到聚类分析中产生的方法。

该方法多用于定型变量的分类。

（3）K—均值法。

K—均值法是一种非谱系聚类法，它是把样品聚集成k个类的集合。

类的个数k可以预先给定或者在聚类过程中确定。

该方法可用于比系
统聚类法大得多的数据组。

系统聚类分析
一、距离和相似系数
为了对样品进行分类，需要研究样品之间的关系，而目前用得最多的方法是：
1.相似系数：根据相似系数把相似的样品归为一类，不怎么相似的系数归为不同的类。

性质接近的样品，它们相似系数的绝对值越接近于1，而彼此五官的样品，它们的相似系数接近于0。

2.空间距离：将所有的样本（有P 项指标表示）看作P 维空间中的点，距离越接近的点归为一类，距离较远的点归为不同的类。

由于指标数据表示不同的度量，有的是表示数量的定量数据，有的是表示排序的顺序数据，而有的是表示类别的定性数据。

这里讨论定量数据的距离和相似系数。

⒈距离
每个样本有p 个指标，因此每个样本可以看成p 维空间中的一个点，n 个样本就组成p 维空间中的n 个点，这时很自然想到用距离来度量n 个样本间的接近程度。

用ij d 表示第i 个样本与第j 个样本之间的距离。

一切距离应满足以下条件： 0ij d ≥ 对于一切i ，j
0ij d = 等价于样品i 和样品j 的指标相同
ij ji d d ＝ 对于一切i ，j
ij ik kj d d d ≤+ 对于一切i ，j ，k
常见的距离有： 绝对值距离：1p t it jt
d x x ==∑
- 欧式距离：
d =
平方欧式距离：()2
1p it jt t d x x ==-∑ 切比雪夫距离：it jt t d Max x x =- 明考斯基距离：11q
p q it jt t x x d =∑=⎡⎤-⎢⎥⎣⎦
当q=1,2时，为绝对值、欧式距离；若趋近无穷时，则为切比雪夫距离 明氏距离在实际的运用很多，但有一些缺点。

例如观测值的单位问题；指标间的相关问题，因此改进得到以下两种距离： 兰氏距离：1||1()()
p it jt ij t it jt x x d L p x x =-=+∑ 马氏距离：1()()()()()()()ij i j i j d M X X S X X -'=--
以上都是样本间距离的定义。

⒉相似系数
（1）相似系数
设()12,,,i i ip x x x '=i x 和12(,,,)j j jp x x x '=j x 是第i 和j 个样品的观测值，则二者之间的相似系数为
:
()()p ik i jk j ij x x x x C --=∑
（2）夹角余弦
夹角余弦时从向量集合的角度所定义的一种测度变量之间亲疏程度的相似系数。

设在n 维空间的向量()12,,,i i i ni x x x '=x ，()12,,,j j j nj x x x '=x
cos n ki kj ij ij x x c α==∑ 221ij ij d C =-
二、系统聚类法基本步骤
1. 选择样本间距离的定义及类间距离的定义；
2. 计算n 个样本两两之间的距离，得到距离矩阵；
3. 构造个类，每类只含有一个样本；
4. 合并符合类间距离定义要求的两类为一个新类；
5. 计算新类与当前各类的距离。

若类的个数为1，则转到步骤6，否则回到步骤4；
6.画出聚类图；
7.决定类的个数和类。

三、系统聚类分析的方法
系统聚类法的聚类原则决定于样品间的距离以及类间距离的定义，类间距离的不同定义就产生了不同的系统聚类分析方法。

以下用ij d 表示样品X(i)和X(j)之间的距离，当样品间的亲疏关系采用相似系
数ij C 时，令221ij ij
d C =- 以下用D(p,q)表示类Gp 和Gq 之间的距离。

1.最短距离法
定义距离：{}pq ij p q D Min d G G =∈∈i j x x ：，
等于Gp 和Gq 最为邻近的两个样品之间的距离
2.最长距离法
定义距离：{}pq ij p q D Max d G G =∈∈i j x x ：，
等于Gp 和Gq 最远的两个样品之间的距离
3.重心法
定义距离：22c (,)p q X X D p q d = 等于Gp 和Gq 两个重心之间的距离
4.类平均法 定义距离：221
i p j q pq ij x G x G p q D d n n ∈∈=∑∑
等于Gp 和Gq 中任意两个样品距离的平均
5.离差平方和法
用p D 和q D 分别表示Gp 和Gq 的直径，用p q D +表示大类的直径，则 '()()p p p p i i i G D x x x x ∈=
--∑
'()()q q q q j j j G D x x x x ∈=
--∑
'()()q p p q j j j G G D x x x x +∈=--∑
定义距离：2
(,)w p q P q D p q D D D +=--
等于Gp 和Gq 之间距离的平方。