§2 方差、协方差与相关系数 方差例1比较甲乙两人的射击技术，已知两人每次击中环数分布为：ξ：789010601...⎛⎝ ⎫⎭⎪ η：6789100102040201.....⎛⎝ ⎫⎭⎪. 问哪一个技术较好首先看两人平均击中环数，此时8E E ξη==，从均值来看无法分辩孰优孰劣. 但从直观上看，甲基本上稳定在8环左右，而乙却一会儿击中10环，一会儿击中6环，较不稳定.因此从直观上可以讲甲的射击技术较好. 上例说明：对一随机变量，除考虑它的平均取值外，还要考虑它取值的离散程度.称ξ-E ξ为随机变量ξ对于均值E ξ的离差(deviation)，它是一随机变量. 为了给出一个描述离散程度的数值，考虑用()E E ξξ-，但由于()E E ξξ-=E E ξξ-=0对一切随机变量均成立，即ξ的离差正负相消，因此用()E E ξξ-是不恰当的. 我们改用()2E E ξξ-描述取值ξ的离散程度，这就是方差.定义 1 若()2E E ξξ-存在，为有限值，就称它是随机变量ξ的方差(variance)，记作Var ξ,Var ξ=()2E E ξξ- (1)但Var ξ的量纲与ξξ的标准差(standard deviation).方差是随机变量函数()2E ξξ-的数学期望，由§1的(5)式，即可写出方差的计算公式Var ξ=2()d ()x E F x ξξ+∞-∞-⎰=22()(),,()()d .i i i x E P x x E p x x ξξξξ+∞-∞⎧-=⎪⎨⎪-⎩∑⎰离散型，连续型 (2)进一步，注意到()2E E ξξ-=()222E E E ξξξξ⎡⎤-+⎣⎦=()22E E ξξ- 即有Var ξ=()22E E ξξ-.(3)许多情况，用(3)式计算方差较方便些. 例1(续) 计算例1中的方差Var ξ与Var η. 解 利用(3)式2E ξ=∑=ii i x P x)(2ξ=72×+82×+92×=,Var ξ=()22E E ξξ-=82=. 同理, Var η=()22E E ηη-= = > Var ξ, 所以η取值较ξ分散. 这说明甲的射击技术较好.例2 试计算泊松分布P(λ)的方差.解2201!(1)!kkk k E keke k k λλλλξ∞∞--====-∑∑11(1)(1)!(1)!kkk k k ee k k λλλλ∞∞--===-+--∑∑2!!jjj j jee j j λλλλλλ∞∞--===+∑∑2λλ=+所以Var ξ=22λλλλ+-=.例3 设ξ服从[ a, b ]上的均匀分布U [a, b]，求Var ξ.解()222211d 3baE x x a ab b b a ξ==++-⎰,Var ξ()()2221132a ab b a b ⎡⎤=++-+⎢⎥⎣⎦()2112b a =-. 例4 设ξ服从正态分布()2,N a σ，求Var ξ.解 此时用公式(2)，由于E a ξ=,Var ξ2()E a ξ=-222()/2()d x a x a x σ+∞---∞=-⎰222/2d z z e z∞--∞=222/2/2z z ze e dz +∞+∞---∞-∞⎫=-+⎪⎭⎰222πσ==.可见正态分布中参数2σ就是它的方差, σ就是标准差. 方差也有若干简单而重要的性质. 先介绍一个不等式.切贝雪夫(Chebyshev)不等式 若随机变量的方差存在，则对任意给定的正数ε，恒有()2Var P E ξξεξε-≥≤. (4)证 设ξ的分布函数为()F x ，则()P E ξξε-≥=⎰≥-εξ||)(E x x dF 22||()d ()x E x E F x ξεξε-≥-≤⎰221()d ()x E F x ξε+∞-∞≤-⎰=Var ξ/2ε.这就得(4)式.切贝雪夫不等式无论从证明方法上还是从结论上都有一定意义. 事实上，该式断言ξ落在(),E ξε-∞-与(),E ξε++∞内的概率小于等于Var ξ/2ε，或者说，ξ落在区间(),E E ξεξε-+内的概率大于1-Var ξ/ε2，从而只用数学期望和方差就可对上述概率进行估计. 例如，取ε=3((21Var P E ξξξ-≤≥-≈.当然这个估计还是比较粗糙的（当ξ～()2,N a σ时，在第二章曾经指出,P(|ξ-E ξ|≤ξ-a |≤3σ)≈ ）.性质1 Var ξ=0的充要条件是P(ξ=c) =1，其中c 是常数.证 显然条件充分. 反之，如果Var ξ= 0，记E ξ= c, 由切贝雪夫不等式, P(|ξ- E ξ|≥ε)=0 对一切正数ε成立. 从而()P c ξ=()10P c ξ=-->()1lim 11n P c n ξ→∞=--≥=.性质2 设c ,b 都是常数，则Var(c ξ+b )=2c Var ξ.(5)证 Var(c ξ+b )=E (c ξ+b -E (c ξ+b ))2=E (c ξ+b -c E ξ-b )2=2c 2()E E ξξ-=c 2Var ξ.性质3 若c E ξ≠, 则()2Var E c ξξ<-.证 因 Var ξ=E 2ξ-2)(ξE , 而E (ξ-c )2=E ξ2-2c E ξ+2c ,两边相减得()2Var E c ξξ--()20E c ξ=--<.这说明随机变量ξ对数学期望E ξ的离散度最小.性质41Var()ni i ξ=∑=1Var nii ξ=∑+2∑≤<≤--nj i j j i iE E E 1))((ξξξξ(6)特别若1,,n ξξ两两独立，则1Var()ni i ξ=∑=1Var nii ξ=∑. (7)证 Var()1∑=ni iξ=E (∑=ni i1ξ-E ()1∑=ni iξ)2=E∑=-ni i i E 12))((ξξ= E∑∑=≤<≤--+-ni nj i j j i ii i E E E 112)))((2)((ξξξξξξ=1Var nii ξ=∑+2∑≤<≤--nj i j j i iE E E 1))((ξξξξ,得证(6)式成立. 当1,,n ξξ两两独立时，对任何1,i j n ≤≤有i j i j E E E ξξξξ=， 故E ))((j j i i E E ξξξξ--=E()j i i j j i j i E E E E ξξξξξξξξ+--=E j i j i E E ξξξξ-=0, 这就得证(7)式成立.利用这些性质，可简化某些随机变量方差的计算. 例5 设ξ服从二项分布B (n , p ), 求Var ξ.解 如§1例12构造i ξ,1,,i n =, 它们相互独立同分布，此时Var 2222201)(p q p E E i i i -⋅+⋅=-=ξξξ=pq.由于相互独立必是两两独立的，由性质4Var ξ1Var()ni i ξ==∑1nii Var ξ==∑npq =.例6????????? 设随机变量1,,n ξξ相互独立同分布, i E a ξ=, Var i ξ=2σ,(1,,i n =). 记ξ=∑=ni i n 11ξ, 求E ξ,Var ξ.解 由§1性质2和本节性质2和4有E ξ11ni i E n ξ==∑a =, Var ξ211Var ni i nξ==∑221n n σ=2n σ=. 这说明在独立同分布时，ξ作为各i ξ的算术平均，它的数学期望与各i ξ的数学期望相同，但方差只有i ξ的1/ n 倍. 这一事实在数理统计中有重要意义.例7 设随机变量ξ的期望与方差都存在,Var 0ξ>. 令*ξ=,称它为随机变量ξ的标准化. 求*E ξ与Var *ξ.解 由均值与方差的性质可知*0E ξ==,*Var()Var Var E ξξξξ-=1Var Var ξξ==.协方差数学期望和方差反映了随机变量的分布特征. 对于随机向量1(,,)n ξξ', 除去各分量的期望和方差外，还有表示各分量间相互关系的数字特征—协方差.定义2 记i ξ和j ξ的联合分布函数为),(y x F ij . 若()()i i j j E E E ξξξξ--<+∞，就称()()i i j j E E E ξξξξ--()()d (,)i j ij x E y E F x y ξξ+∞+∞-∞-∞=--⎰⎰(8)为,i j ξξ的协方差( covariance)，记作Cov(,i j ξξ).显然，()Cov ,i j ξξVar iξ=.公式(6)可改写为Var(∑=ni i1ξ)=∑=ni iVar 1ξ+2∑≤<≤nj i jiCov 1),(ξξ.')6(容易验证，协方差有如下性质：性质1 Cov(,ξη) = Cov(,ηξ)E E E ξηξη=-.性质2 设,a b 是常数，则Cov(,)a b ξηCov(,)ab ξη=.性质311Cov(,)Cov(,)nni i i i ξηξη===∑∑.对于n 维随机向量ξ=1(,,)n ξξ'，可写出它的协方差阵()()B E E E ξξξξ'=--=⎪⎪⎪⎪⎪⎭⎫⎝⎛nn n n n n b b b b b b b b b 212222111211, (9)其中Cov(,)ij i j b ξξ=.由性质1可知B 是一个对称阵，且对任何实数j t ,1,,j n =, 二次型∑=nk j kj jk t t b1,,1()()nj kjj k k j k t t E E E ξξξξ==--∑21(())0nj j j j E t E ξξ==-≥∑,即随机向量ξ的协方差阵B 是非负定的. 性质4 设ξ=1(,,)n ξξ' ,C =c c c c n m mn 1111⎛⎝ ⎫⎭⎪⎪,则C ξ的协方差阵为CBC '，其中B 是ξ的协方差阵.因为''''')(C CE C EC C EC ξξξξξξ==，所以CBC '的第(),i j 元素就是C ξ的第i元素与第j 元素的协方差.相关系数协方差虽在某种意义上表示了两个随机变量间的关系，但()Cov ,ξη的取值大小与ξ,η的量纲有关. 为避免这一点，用ξ,η的标准化随机变量（见例7）来讨论. 定义3 称r ξη=Cov(,)ξη**=(10)为ξ, η的相关系数(correlation coefficient). 为了讨论相关系数的意义，先看一个重要的不等式.柯西—许瓦茨(Cauchy —Schwarz)不等式 对任意随机变量ξ, η有222E E E ξηξη≤.(11)等式成立当且仅当存在常数0t 使()01P t ηξ==.(12)证 对任意实数t2222 ()()2u t E t t E tE E ξηξξηη=-=-+是t 的二次非负多项式，所以它的判别式222()0E E E ξηξη-≤,证得(11)式成立. (11)式中等式成立当且仅当多项式 ()u t 有重根0t ，即()200()0u t E t ξη=-=.又由(3)()()200Var t E t ξηξη-≤-,故得()0Var 0t ξη-=,同时有()00E t ξη-=. 所以由方差的性质1就证得()001P t ξη-==，此即 (12)式.由此即可得相关系数的一个重要性质. 性质1 对相关系数ξηr 有1r ξη≤. (13)ξηr =1当且仅当1P ⎧⎫==;ξηr =-1当且仅当1P ⎧⎫==-.(14)证 由(11)式得1r E ξηξη**=≤==,证得(13)式成立. 证明第二个结论. 由定义****ηξηξξηE r r ==. 由柯西-许瓦兹不等式的证明可知,1||=ξηr 等价于)(t u =2***2*22ηηξξE tE E t +-有重根)2/(22***0ξηξe E t ==.**ηξE 因此由(12)式得1=ξηr 当且仅当1)(**==P ηξ；1-=ξηr 当且仅当**()1ξηP -=. 注 性质1表明相关系数1r ξη=±时，ξ与η以概率1存在着线性关系. 另一个极端是ξηr = 0，此时我们称ξ与η不相关(uncorrected). 性质2 对随机变量ξ和η, 下列事实等价： (1) Cov(ξ,η)=0;(2) ξ与η不相关;(3) E E E ξηξη=;(4) ()Var Var Var ξηξη+=+.证 显然(1)与(2)等价. 又由协方差的性质1得(1)与(3)等价. 再由')6(式，得(1)与(4)等价.性质3 若ξ与η独立，则ξ与η不相关.显然, 由ξ与η独立知(3)成立，从而ξ与η不相关. 但其逆不真.例8 设随机变量θ服从均匀分布U [0, 2π]，ξ=cos θ,sin ηθ=,显然221ξη+=, 故ξ与η不独立. 但cosE E ξθ=201cos d 02πϕϕπ==⎰,201sin =sin d 02E E πηθϕϕπ==⎰,201cos sin =cos sin d 02E E πξηθθϕϕϕπ=⋅=⎰,故()Cov ,=0 E E E ξηξηξη-=，即ξ与η不相关.注 性质2不能推广到()3n ≥个随机变量情形. 事实上从()3n ≥个随机变量两两不相关只能推得11Var()Var nni ii i ξξ===∑∑,不能推得11n n E E E ξξξξ=.反之，从这两个等式也不能推得1,,n ξξ两两不相关. 具体例子不列出了. 对于性质3, 在正态分布情形，独立与不相关是一致的，这将在下面进行讨论.例9 设(ξ,η)服从二元正态分布()2212,;,,N a b r σσ, 试求()Cov ,ξη和ξηr .解()Cov ,()()(,)d d x a y b p x y x yξη+∞+∞-∞-∞=--⎰⎰22221221()()()exp d d 2(1)2x a y b y b x a y b r x y r σσσ∞∞-∞-∞⎧⎫⎛⎫---⎪⎪--⋅---⎨⎬ ⎪-⎝⎭⎪⎪⎩⎭⎰,令12x ay bz rσσ--=-,2y b t σ-=, 则1x az rtσ-=+,12(,)(,)x y J z t ∂σσ∂==,于是()Cov ,ξη222/2(1)2/2()d d z r t zt rt ee z t--∞∞--∞-∞=+⋅⎰=2/212d t te tσσ∞--∞⋅22/2(1)d zr z e z∞---∞⋅⎰2222/2/2(1)d d t zr t e t e z∞∞----∞-∞⋅= 0+r 21σσ. 故得r rξη==.这就是说二元正态分布中参数r 就是ξ,η的相关系数. 所以对二元正态分布，ξ、η不相关等价于r = 0. 但在第二章已证ξ与η相互独立等价于r = 0. 这样我们有性质4 对二元正态分布，两个分量不相关与相互独立是等价的. 矩矩(moment)是最广泛的一种数字特征，常用的矩有两种，一种是原点矩, 对正整数k ,k k E m ξ=称为ξ的k 阶原点矩. 数学期望就是一阶原点矩. 另一种是中心矩, 对正整数k ，称k k E E c )(ξξ-=为ξ的k 阶中心矩. 方差是二阶中心矩.除此以外，三阶与四阶中心矩也是常用的，它们分别表示随机变量的性状. 往往用他们的相对值.峭.例10 设ξ为服从正态分布N (02,σ)的随机变量，此时0E ξ=，且222d x nn n m c x exσ-+∞-∞==⎰0,13(1),n n σ⎧=⎨⨯⨯⨯-⎩.2,12k n k n =+=特别 4443σ==c m .故不论σ为多少，正态分布的偏态系数与峰态系数都为0.我们可以用原点矩来表示中心矩：;)1(10r k r rkr k m m r k c -=-⎪⎪⎭⎫ ⎝⎛=∑反过来，我们也可以用中心矩来表示原点矩：.)1(10r k r rkr k c m r k m -=-⎪⎪⎭⎫ ⎝⎛=∑我们也定义α阶绝对矩,||αξE M k= 其中α是实数.对于例10中的随机变量ξ21!,21||13(1),2kk nn k n k E n n k σξσ+=+=⨯⨯⨯-=⎩利用上述结果，可以求出其他某些分布的矩. 如瑞利分布, 具有密度2222(),0xx R x e x ααα-=>，那么2222122221d ||d 2xxnnx xE xe x x exααξαα+∞+∞--+-∞==⎰⎰.因此，⎪⎩⎪⎨⎧⋅=k k nnk n E 2!2,312ααπξ .2,12k n k n =+=特别，2παξ=E ，222αξ=E . 因此，方差22)22(απσξ-=.再如，马克斯威尔分布具有密度2222(),0xp x x ex σ-=>，那么222222220d ||d xxnn n E xex x exσσξ+∞+∞--++-∞==⎰因此，2113(1),(1)!,n n kk n E k σξσ+⎧⨯⨯⨯+=+ .12,2+==k n k n特别，,22πσξ=E 223σξ=E .例11. 如果ξ服从参数为λ的指数分布，那么 对于1≥k ，d kk xE x ex λξλ+∞-=⎰1k kE ξλ-=.根据递推关系得!k k k E ξλ=.即指数分布的任意阶矩存在.。