多元数据的正态性检验摘 要：本文对多元正态性检验的两种主要方法——2χ统计量的Q-Q 图检验法和主成分检验法进行了讨论，介绍其基本原理、具体实施步骤，通过实例分析进行应用研究，并比较它们的优劣，发现主成分检验法的实用性和应用价值更强. 关键词：多元正态性 2χ统计量 Q-Q 图检验法 主成分检验法The Normality Test for Multivariate DataAbstract: In this paper, we discuss two main methods of multiple normal tests, Q-Q chart test and principal component test, introduce the basic principle and the specific implementation steps, research through studying the case, and compare their advantages and disadvantages. We found that the principal component test is better than Q-Q chart test in practicality and applied value. Key words: Multivariate normality; Chi-square statistic; Q-Q char test; Principal component test引言正态分布在学习中是一种很重要的分布，在自然界中占据着很重要的位置，它能描述许多随机现象，从而充当一个真实的总体模型.尽管在学习中我们总是碰到很多问题的总体服从正态分布，然而,在一个实际问题中，总体一定是正态分布吗？一般的讲,所作统计推断的结论是否正确，取决于实际总体与正态总体接近的程度如何.因此，建立一些方法来检验多元观测数据与多元正态数据的差异是否显著是十分必要的.如今，一元数据的正态检验的理论已相当成熟，但对于多元数据的正态性检验问题还处在摸索前进的阶段，没有形成行之有效、有足够说服力的检验方法.本文将在第一节中介绍文中用到的一元正态性检验的两种基本方法：图方法和矩法；第二节中介绍2χ统计量的Q-Q 图检验法基本原理和检验步骤；第三节中介绍主成分正态检验法的基本原理和检验步骤；第四节中通过两个实例做应用分析；第五节中对这两种方法在应用中的优劣做比较分析.1 一元正态性检验的方法鉴于一元数据正态性检验的多样性，本文不一一介绍，只介绍本文中用到的2χ检验法和偏峰检验法.1.1 图方法设12,,...,n x x x 是来自总体的X 随机样本，检验),(~:20δμN X H .如果没有关于样本的附加信息可以利用，首选推荐的是利用正态概率纸画图.它让人们立即看到观测的分布是否接近正态分布.对于一张正态概率纸，它的横轴的刻度是均匀的，纵轴按标准正态分布的P 分位数均匀刻度，标上相应的P 值.正态概率纸上的坐标轴系统使正态分布的分布函数呈一条直线.利用正态概率纸检验一组观测值是否服从正态分布，可以按如下步骤进行: 把n 个观测值按非降次序排列成12n x x x ≤≤≤.然后把数对(3/8,1/4k k x n -+)(1,2,,k n =)点在正态概率纸上.如果所画的n 个点明显地不成一条直线，则拒绝原假设.如果这些点散布在一条直线附近，则可以粗略地说，样本来自正态分布.这时，可以凭直觉配一条直线，使它离各点的偏差尽可能地小，其中在纵轴刻度为50%附近各点离直线的偏差要优先照顾，使其尽可能地小，并且使直线两边的点数大致相等.如果发现得到的点系统地偏离一条直线，在拒绝原假设后，可以考虑备择假设的类型.特别，如果几个较大的值明显地倾向于由其它值确定的直线的下方，作log y x =或y 等变换可能使图形更符合一条直线.这种方法也就是人们常说的P-P 图法或Q-Q 图法. 1.2 矩法矩法，也称动差法、偏峰检验法，它是利用中心距的概念引入的两个量，正态分布的这两个量有着很好的特征，因此，常用这两个量进行正态性检验.总体X 的偏度是刻画X 分布的对称程度的量，记为31322()[()]E X EX G E X EX -=- , (1.2.1)10G =,X 的分布对称；10G >，称为正偏；10G <，称为负偏.总体X 的峰度是衡量X 的概率分布密度陡峭程度的量，记为4222()[()]E X EX G E X EX -=- , (1.2.2)正态分布的偏度为0，峰度为3.一个分布如果1G 远离0或2G 远离3，则可认为它与正态分布相差很大，为了检验样本12,,...,n x x x 是否来自正态总体，先计算偏度和峰度的估计量3113321()(())nii n i i xx g x x ==-=-∑∑，412321()(())nii n i i xx g x x ==-=-∑∑ .当总体服从正态分布且样本容量n 很大时，统计量1g 和2g 近似正态分布，且有1()0E g ≈，224()Var g n≈，如果以下不等式1g -≤23g --≤只要有一个不成立，就认为总体不服从正态分布[4].2 2χ统计量的Q-Q 图检验法2.1 2χ统计量的Q-Q 图检验法的原理为了充分解释2χ统计量的Q-Q 图检验法的基本原理，先引入分位数和经验分布函数的概念以及一个重要结论.定义2.1 对10<<p ，称满足不等式p x X P ≥≤)(，p x X P -≥≥1)(的x 值为随机变量X 的P 阶分位数.如果X 是连续型的，那么P 阶分位数就是满足方程p x F =)(的x 的值.如果X 是离散型的，那么，P 阶分位数存在唯一性的问题.因此采用以下定义更准确：设X 的分布函数为)(x F ，对10<<p ，定义x 的P 阶分位数为}{p x F x xp≥=)(:inf .所以)(1p F x p -=就是分布函数的反函数，且只存在唯一的P 阶分位数，即()x F 的左侧分位数.分位数是随机变量的重要数字特征，在描述数据的分布时非常有用.定义2.2 设()n x x x ,,21是总体X 的一组样本观察值，将它们按大小顺序排列为)()2()1(n x x x ≤≤≤ ，x 为任意实数，称函数(1)()()(1)()0,(),1,k n n k k n x x F x x x x x x +⎧<⎪=≤≤⎨⎪≥⎩， 为经验分布函数.经验分布函数的图像是一条阶梯曲线，若观察值不重复则阶梯的每一个跃度都是1n ，若重复，则按1n的倍数跳跃上升.对任意的实数x ，()n F x 的值等于样本的观察值12,,,n x x x 中不超过x 的频率，由频率与概率的关系，()n F x 可以作为总体X 的分布函数()F x 的一个近似值，随n 的增大，近似程度越好.结论2.1 设),(~∑μp N X ,0>∑，则),(~21δχp X X -∑'，其中1'δμμ-=∑.证明：因为0∑>，由正定矩阵的分解可得'CC ∑=(C 为非退化方阵),令1Y C X -=，即X CY =，则),(~1p P I C N Y μ-,因'CC ∑=，所以()1,p p YN C I μ-，且有),(~211δχp Y Y CY C Y X X '=∑''=∑'--,其中()()111''C C δμμμμ---==∑.下面介绍2χ统计量的Q-Q 图检验法的原理，设()1(,...;)(1,,)p X X X a n ααα'==为来自p 元总体X 的随机样本，检验),(~:0∑μP N X H ，1:H X 不服从(,)p N μ∑.由上面的结论1可知在0H 成立时，)(~)()(21p X X χμμ-∑'--，所以将X 到总体中心μ的马氏距离2(,)D X μ=1()()X X μμ-'-∑-记为2D ，则有)(~22p Dχ.以下构造的检验方法是检验量2D 是否有)(~22P D χ成立.先由样品()a X 计算2(1,,)a D a n =，并对2a D 排序：222(1)(2)()...n D D D ≤≤；取统计量2D 的经验分布函数为2()0.5()n t t t F D p n-==，记2()(|)t H D p 表示2()p χ的分布函数在2()t D 的值，则在0H 下有2()(|)t t p H D p ≈；由经验分布得到样本的t p 分位数21()()t n t D F p -=，同时设2χ分布的tp 分位数为2t χ，若假设0H 成立，应有：22()t t D χ≈.然后绘制点22()(,)t t D χ的散点图，这些点应散布在一条过原点且斜率为1的直线上，如果存在明显的偏离，则可以拒绝原假设.这种检验法其实就是2χ分布的Q-Q 图检验法.如果不利用分位数，直接用概率散点2()(,(|))t t p H D p 绘图，就是2χ分布的P-P 图检验法.2.2 2χ统计量的Q-Q 图检验法一般步骤为了方便应用，将上述思路的具体实施步骤归纳如下：(1)由n 个p 维样品()()1,,a X a n =计算样本均值X 和样本协方差阵S ：()()()()11'1na aa S X XX X n ==---∑; (2.2.1)(2)计算样品点()t X (1,2,,t n =)到X 的马氏距离：()()()()()21'1,,t t t D X X S X X t n -=--= ;(3)对马氏距离2t D 按从小到大的次序排序：()()()22212n D D D ≤≤≤;(4)计算()0.51,2,,t t p t n n-==以及2t χ，其中2t χ满足：()2t t H p p χ=(或计算()()2t H D p 的值);(5)以马氏距离为横坐标，2χ分位数为纵坐标作平面坐标系，用n 个点()()22,t t D χ绘制散布图，即得到2χ分布的Q-Q 图；或者用另n 个点()()()2,t t p H D p 绘制散布图，即得2χ分布的P-P 图;(6)考察这n 个点是否散布在一条通过原点，斜率为1的直线上，若是，接受数据来自p 元正态总体的假设；否则拒绝正态性假设.3 主成分检验法3.1 主成分检验法的基本原理目前，关于主成分的研究很多，但大多数集中在进行综合评价及回归分析，用来做检验的则几乎没有.主成分检验法是建立在主成分变量基础上的统计方法，基本思想是降维：将多元数据集转化为多个一元互相独立的数据集，通过检验一元数据集的正态性来判断原多元数据集的正态性.为充分解释这一思想，先引入主成分的定义.定义 3.1.1设X =12(,,,)'p X X X 是p 维随机向量，均值()E X μ=，协方差阵()D X =∑，称i i Z a X '=为X 的第i 主成分(1,2..i p =)，如果：(1)1(1,2.,)i i a a i p '==；(2)当1i >时，0(1,2.,1)i j a a j i '∑==-； (3)1,0(1,2.,1)()max()i j i a a j i Var Z Var X ααα''=∑==-'=.若已知∑的特征值为 120p λλλ≥≥≥>，12,,,p a a a 为相应的单位正交特征向量，则X 的第i 主成分i i Z a X '=(1,2..i p =)具体的证明过程参见文献[1].如果可以证明：1Z ，…，p Z 是相互独立的，这时p 元数据的正态性检验可化为P 个相互独立的主成分的一元数据的正态性检验，这种检验方法称为主成分检验法.下面说明主成分的不相关性.设()D X =∑，如果∑是对角矩阵，即p 维向量的分量互不相关，这时可以直接把p 元正态性检验问题转化为p 个一元正态性检验问题.但一般∑不是对角矩阵，即分量间是相关的，利用主成分分析法，求得X 的p 个主成分1Z ，…,p Z .下证1Z ，…,p Z 是不相关的.令12(,,,)p Z Z Z Z =,由于1Z ，…,p Z 依次为X 的第i 主成分的充要条件是12()(,,,)p D Z diag λλλ=.即有(,)i j ii j Cov z z i jλ≠⎧=⎨=⎩，又1λ≥2λ≥……≥p λ＞0 ,即说明任意两个不相同的主成分之间是不相关的，故12,,,p Z Z Z 不相关.文献[2]中给出了主成分数据处理的基本方法，并分析了方法的不足，提出了改进的方法.直接将标准化的数据代入*Tp n p n Z A X ⨯⨯=,则得到主成分得分.其中，系数矩阵p n A ⨯为对应特征向量组成的矩阵，*T p n X ⨯为标准化的数据集.从中我们看到，计算主成分得分实际上是将标准化后的原始数据投影到旋转后的坐标中. 结论3.1.1 若~(,)X N μ∑，则~(,)Z N A A A μ'∑；反之，若Z 服从多元正态分布，则X 也服从多元正态分布.证明:由主成分的定义知，Z A X '=，其中，12(,,,)p A a a a =且为正交矩阵.由于~(,)X N μ∑，则()()()E Z E AX AE X A μ===, ()()()D Z D A X A D X A A A '''===∑,从而，由多元正态分布的线性性质，~(,)Z N A A A μ'∑,反过来，由Z 服从正态分布，同理可知X 服从正态分布.结论3.1.2 若12,,,p Z Z Z 独立同正态分布，则Z 服从多元正态分布. 证明:此命题的结论可以直接从多元正态分布的定义得出.由主成分的理论特征知，主成分变量是新的互不相关的变量，因此，只要说明主成分变量12,,,p Z Z Z 分别服从一元正态分布，就可以说明Z 服从多元正态分布，从而由结论3.1.1知X 也服从多元正态分布. 3.2 主成分正态检验的一般步骤具体检验步骤如下：(1)由n 个p 维样品()()1,,a X a n =计算样本均值X 和样本协方差阵S ，计算公式同(2.2.1)式；(2)利用坐标变换计算每个样本点的主成分得分，得到新的主成分得分集12,,,p Z Z Z ；(3)对每个i Z (1,2,,i p =)，求出其对应的偏度和峰度值；(4)考察偏度是否趋近0，峰度是否趋近3.若是，则接受X 来自于正态总体；若两个条件有一个不满足，则拒绝正态性假设.4 应用研究为了说明这两种方法具有很好的实用价值，并进行比较，本文给出两个实例研究.4.1 实例1对20 名健康成年女性的出汗(X1 ) ,钠的含量(X2) 和钾的含量(X3) 的数据进行正态性检验.本例数据与文献[4]中第45页例1的数据一样，文献[4]中是对样本数据进行均值向量的假设检验，检验方法是基于样本数据来自于3元正态分布的假设，但文献[4]并没有对样本数据进行正态性检验，现本文分别用2χ统计量的Q-Q图检验法和主成分检验法进行多元正态性检验.(1) 2χ统计量的Q-Q图检验法根据2.2节给出的一般步骤，结合数据集，首先利用SAS中主成分程序(程序同见附录3)计算出协方差阵S：X1 X2 X3X1 1.0000 0.4173 -.5597X2 0.4173 1.0000 -.2095X3 -.5597 -.2095 1.0000表4-1 协方差阵然后利用Matlab编程计算马氏距离(程序见附录1)，并按升序排列；同时利用SAS软件计算出对应的2χ分位数(程序见附录2)，结果见下表：序号马氏距离p分位数序号马氏距离p分位数1 0.003 0.2158 11 0.1096 2.50162 0.0061 0.472 12 0.123 2.79093 0.0064 0.6924 13 0.1446 3.10984 0.0179 0.9018 14 0.2238 3.46755 0.0296 1.1086 15 0.2241 3.87756 0.0355 1.3174 16 0.3571 4.36137 0.061 1.5316 17 0.455 4.95668 0.0885 1.754 18 0.4902 5.73949 0.0887 1.9875 19 0.8439 6.904610 0.0915 2.2354 20 1.1447 9.3484表4-2 马氏距离和p分位数最后以马氏距离为横坐标，以卡方分位数为纵坐标作散点图，见图4-1:χ统计量的Q-Q图图4-1 2从图中可以看出，这些点基本在一条直线的上下波动，偏离不是很大.因此，从直观上判断可以接受原多元数据集来自于多元正态分布的假设.(2) 主成分检验法obs Z1 Z2 Z3 obs Z1 Z2 Z31 -2.35056 -1.60948 -0.63809 11 -0.62827 0.3278 0.167342 1.28027 -1.57151 0.68293 12 -1.40979 0.37468 0.697083 0.29161 -1.15274 -0.44169 13 -0.54558 0.43448 -0.125834 -0.99597 -0.99533 -0.16326 14 1.68529 0.48243 -0.56935 5 0.24255 -0.76054 -0.42432 15 -0.1638 0.59492 -0.986336 0.34761 -0.48032 0.3077 16 0.68709 0.59525 0.94349 7 2.73671 -0.45672 0.58714 17 0.18684 0.85608 0.55041 8 1.30752 -0.44759 0.41891 18 1.38678 0.98895 -1.18331 9 -0.05272 0.03561 -0.68763 19 -0.90402 1.14607 -0.18851 10-2.800040.157190.6998620-0.301541.480770.35344表4-3 主成分得分集然后对主成分得分集进行分析，用SAS 中的UNIVARIATE 命令和SAS 中的分析家中的Q-Q 图分别对Z1、Z2、Z3做正态性检验.我们先看偏峰检验的结果表4-4:变量 偏度 峰度 均值 标准差 方差 Z1 -0.1509976 0.77631092 0.123713 1.259021 1.58513 Z2 -0.3508053 -0.6267268 0.084709 0.83305 0.69397 Z3-0.421413-0.89060520.0335830.623830.38916表4-4 偏峰度检验结果从表4-4中可以看出偏度是在0附近波动，但是峰度的波动很大，绝对值在0.7附近，结合2.2节中的结论可知，可以拒绝原数据集是来自3元正态分布的假设.我们再看图方法检验的结果，见图4-2:图4-2 QQ 图(依次为1Z 、2Z 、3Z )从图中左上角给出的拟合方差以及均值可以看出，直线的拟合度非常好，由此可以判断1Z 、2Z 、3Z 都服从一元正态分布，从而可以接受原数据集来自于3元正态分布的假设.从上面的分析我们看到一元正态检验的2 检验法和Q-Q 检验法得到了两种截然相反的结果，那哪个结果更可信呢？出现这样的情况也是正常的，最重要的原因是中心矩的结果很容易受到频数分布的影响.不同的分布可能计算出同样的中心矩，这样就造成检验误差增大.4.2 实例2本例选取我国2006年各地区城市设施水平数据作正态性检验，包含6个指标，1X ：城市用水普及率；2X ：城市燃气普及率；3X ：每万人拥有公共交通车辆；4X ：人均城市道路面积；5X ：人均公园绿地面积；6X ：每万人拥有公共厕所.用1~31依次表示北京、天津、河北、山西、内蒙古、辽宁、吉林,黑龙江,上海,江苏,浙江,安徽,福建,江西,山东,河南,湖北,湖南,广东,广西,海南,重庆,四川,贵州,云南,西藏,陕西,甘肃,青海,宁夏,新疆全国31个省、直辖市、自治区的名称.(1) 2χ统计量的Q-Q图检验法参照3.1.1中的步骤说明，可以得出相关的结果如下：X1 X2 X3 X4 X5 X6 X1 1 0.8212 0.3768 -0.1479 0.1356 -0.1812 X2 0.8212 1 0.5332 0.075 0.2839 -0.0797 X3 0.3768 0.5332 1 0.0923 0.2322 0.2216 X4 -0.1479 0.075 0.0923 1 0.5665 0.0193 X5 0.1356 0.2839 0.2322 0.5665 1 0.0371 X6 -0.1812 -0.0797 0.2216 0.0193 0.0371 1表4-5 相关阵obs 卡方分位数马氏距离obs 卡方分位数马氏距离1 1.043733 0.0421 17 5.614729 0.19162 1.613527 0.0569 18 5.891093 0.23813 2.003244 0.0579 19 6.181212 0.25574 2.328934 0.0659 20 6.48602 0.27525 2.62003 0.0713 21 6.810794 0.35716 2.889358 0.0725 22 7.157803 0.38767 3.146093 0.0767 23 7.534835 0.52228 3.393355 0.0774 24 7.948509 0.65179 3.635972 0.0783 25 8.408144 0.76210 3.875649 0.0849 26 8.932674 0.774411 4.113647 0.0889 27 9.544323 0.78612 4.353161 0.0919 28 10.29153 1.525313 4.59426 0.0939 29 11.26231 1.701614 4.83994 0.0943 30 12.68048 1.82515 5.09018 0.1127 31 15.59516 2.039316 5.348121 0.1665表4-6 马氏距离和2χ分位数最终得到2χ统计量的Q-Q图如下：图4-32χ统计量的Q-Q图从图4-3中可以看出，大部分数据呈抛物线分布，因此，拒绝原数据集来自于6元正态分布的假设.(2) 主成分检验法从表4-7中可以看出，1Z比较符合正态分布的特征，但从后面的方差以及标准差(根据Q-Q图拟合直线与点之间的关系得到的，方差和标准差越小说明Q-Q 图越接近于一条直线，也就说明该变量越服从正态分布)来看36X X拟合度比较好.无论怎样，从偏峰度和Q-Q图都可得出，原多元数据集不服从正态性检验.这个结果说明我国各省、直辖市、自治区在上面描述的六个指标中不存在都强或都弱的情况，都是此强彼弱，这很好的映证了目前我国各省、直辖市、自治区实际情况.5 两种方法的比较从上面的原理介绍和应用分析可以看出，多元数据正态性检验的2χ统计量的Q-Q图检验法和主成分检验法存在各自的优缺点.相对来说，主成分正态性检验法涉及到主成分的计算，较为麻烦，但容易在软件上实现，具有较强的实用性和应用价值.这也可以从主成分也能对一元变量进行检验可以看出来，但是需要注意的是一元检验的是新的主成分变量，并不是原始数据集的某一指标的一元检验.2χ统计量的Q-Q图检验法具有结论简单明了的直观效果，但是它没有现成的命令可以套用，对于专业知识不够的人是难以得出结果的.从理论上讲，主成分检验法是优于2χ统计量的Q-Q图检验法，这是因为相对来说一元数据的正态性检验理论已经相当成熟，在得出主成分变量后，就可以直接用相应的软件命令来实现，简单，但分析起来就相对麻烦些.结束语本文只是比较了多元数据正态性检验的两种常用方法的异同，对于其他分布的检验问题，由主成分的较好的特征，是否可以将主成分检验法推广到其他类型分布的检验上呢？本文受能力和时间限制没有研究.另外，主成分提出至今，通过大量的实践验证，发展形成了比较系统的体系.目前比较常见的有核主成分见文献[5]、灰(也称模糊)主成分见文献[6]、伪主成分见文献[7]、非线性主成分见文献[8]等分析方法，这些方法的提出弥补了主成分一般方法的不足.对于这些改进方法见文献[9]，是否也可将之应用到本文中的主成分检验法中，使主成分检验法的结论更为准确，也没有研究.本文的创新之处在于通过了两个实例来衡量两种检验方法的优劣，这样做的好处是避免了以偏概全，而且很好的利用软件将2χ统计量的Q-Q图检验法的结果得出来了，并总结了两种检验方法的长处和短处.美中不足的是对于2χ统计量的Q-Q图检验法没有编写出一个完整的程序直接得出Q-Q图.限于作者的学术水平，文中难免有错误和不足，欢迎批评指正.致谢本论文选题及写作都是在徐伟老师的亲切关怀和细心指导下完成的.他的严肃的科学态度,严谨的治学精神,精益求精的工作作风,深深地感染和激励着我,使我不仅接受了全新的思想观念,树立了宏伟的学术目标,领会了基本的思考方式,掌握了通用的研究方法,而且还明白了许多为人处事的道理,在此,我对徐老师表示深深的感谢.与此同时,我还要感谢教过我的所有的老师,没有他们谆谆的教导就不会有我今天论文的完成,谢谢了老师,您们辛苦了.参考文献[1]高惠璇. 应用多元统计分析[M].北京：北京大学出版社,2005[2]A.H.Al-Ibrahim, Noriah M.Al-Kandari. Stability of principal components[J]，Computational Statistics 23(8),2008.9[3]贾明辉，华志强.主成分分析数据处理方法探讨[J].内蒙古民族大学学报自然科学版，23(4)，2008.7[4]Fabian Sinz, Sebastian Gerwinn, Matthias Bethge. Characterization of the p-generalized normal distribution。