当前位置:文档之家› 回归方程及回归系数的显著性检验

回归方程及回归系数的显著性检验

§ 3回归方程及回归系数的显著性检验
1、回归方程的显著性检验
(1)回归平方和与剩余平方和
建立回归方程以后,回归效果如何呢?因变量.•与自变量是否确实存在线性关系呢?这
是需要进行统计检验才能加以肯定或否定,为此,我们要进一步研究因变量取值的变化规律。

的每次
取值1是有波动的,这种波动常称为变差,每次观测值jt的变差大小,常用该次观侧值 U
与t次观测值的平均值的差丨、/(称为离差)来表示,而全部:次观测值的总变差可由总的
离差平方和
呦迄以*)亠另(n+剳*诃吃+卩

其中:
~ 称为回归平方和,是回归值与均值.之差的平方和,它反映了自变量
九心[如的变化所引起的丿的波动,其自由度h~加(川为自变量的个数)。

称为剩余平方和(或称残差平方和),是实测值T与回归值.■,之差的平方和,它是由试验误差及其它因素引起的,其自由度]T 一。

总的离差平方和一二的自由度为:亠。

如果观测值给定,则总的离差平方和-二是确定的,即是确定的,因此i.i大则匚小,反之,L 小则〔大,所以U与I都可用来衡量回归效果,且回归平方和U越大则线性回归效果越显著,或者说剩余平方和_越小回归效果越显著,如果_= 0,则回归超平面过所有观测点;如果一大,则线性回归效果不好。

(2)复相关系数
为检验总的回归效果,人们也常引用无量纲指标
-' ,(3.1)

R=匸倉
V 切,(3.2)
称为复相关系数。

因为回归平方和u实际上是反映回归方程中全部自变量的“方差贡献”,因此 F「就
是这种贡献在总回归平方和中所占的比例,因此〕.表示全部自变量与因变量.■的相关程度。

显然[上「二*。

复相关系数越接近1 ,回归效果就越好,因此它可以作为检验总的回归效果的一个指标。

但应注意,亠与回归方程中自变量的个数“!及观测组数F有关,当[相对于T并不很大时,常有较大的值,因此实际计算中应注意I与.的适当比例,一般认为应取I至少为■!的5到10倍为宜。

⑶/'检验
要检验 m 1仪是否存在线性关系,就是要检验假设
:…',(3.3)
当假设二i成立时,贝匚与…… 无线性关系,否则认为线性关系显著。

检验假设^0应用统计量
r Uim
F = --------
-11- ,(3.4)
这是两个方差之比,它服从自由度为十及- 'I的F分布,即
F ------------- w -1
的”1),(3.5)
用此统计量F可检验回归的总体效果。

如果假设上一成立,则当给定检验水平 a下,统计量F应有卜當w 匕二J 一 1 一匚(3.6)
对于给定的置信度a,由F分布表可查得'L1'的值,如果根据统计量算得的 F值为
厂'- ■'_■■_11,则拒绝假设’|.,即不能认为全部为0,即〒个自变量的总体回归效果是显著的
否则认为回归效果不显著。

利用「检验对回归方程进行显著性检验的方法称为方差分析。

上面对回归效果的讨论可归结于一个方
差分析表中,如表3.1 o


U1

x-1

&-1
根据与F的定义,可以导岀二与F的以下关系:
f -1 .J:./ V::,
mF
利用这两个关系式可以解决 i值多大时回归效果才算是显著的问题。

因为对给定的检验水平a,由"
分布表可查岀/的临界值匚;,然后由匚;即可求岀上的临界值」.二:
+ ,(3.7)
当| - 时,则认为回归效果显著。

例3.1利用方差分析对例2.1的回归方程进行显著性检验。

方差分析结果见表3.2。

来源平方和自由度方差方差比
回归U= 3739.7m = 2y/m = 1869^5
f = 610.34404
剩余Q = 33,7n-m-l=ll Q/(n-m-l) =
3.0636
总计呦=3773.4n-l=13
取检验水平a = 0.05,查F分布表得 I " '',而■卜-H - :>::.、• - ■',所以例2.1的
回归方程回归效果是显著的。

2、回归系数的显著性检验
前面讨论了回归方程中全部自变量的总体回归效果,但总体回归效果显著并不说明每个自变量对因变量都是重要的,即可能有某个自变量 '对并不起作用或者能被其它的显的作用
所代替,因此对这种自变量我们希望从回归方程中剔除,这样可以建立更简单的回归方程。

显然某个自变量如果对「作用不显著,则它的系数 '就应取值为0,因此检验每个自变量 '是否显著,就要检验假设:
其中为矩阵 "' 「:.'
的对角线上第:个元素。

其中匚为矩阵的主对角线上第:个元素。

对于给定的检验水平 a ,从F分布表中"I '? 1 , -「■■■",, (3.8)
在八一 I假设下,可应用「检验:
-/'■<- - _■,-…,(3.9)
对给定的检验水平 a ,从「分布表中可查出与 a对应的临界值I ,如果有二丨".,贝U拒绝假设彳1,
即认为1■:与0有显著差异,这说明\对」有重要作用不应剔除;如果有丨则接受假设-'-I ,即认为
J-L成立,这说明\对「不起作用,应予剔除。

⑵?检验:
检验假设', 亦可用服从自由度分别为 i与龙-用-1的F分布的统计量
,(3.10)
可查得临界■';- I', 如果有则拒绝假设M 一,认为%对;有重要作用。

如果
恥伽处1) ,则接受假设血,即认为自变量期对丿不起重要作用,可以剔除。

一般一次F检验只剔除一个自变量,且这个自变量是所有不显著自变量中"值最小者,然后再建立回归方程,并继续进行
检验,直到建立的回归方程及各个自变量均显著为止。

最后指岀,上述对各自变量进行显著性检验采用的两种统计量与.实际上是等价的,因为由(3.9)
式及(3.10)式知,有
':匚(3.11)
例3.2对例2.1的回归方程各系数进行显著性检验。

经计算:
p25L7 3499^1
=499,9 2550,9丿
于是
=4012

144)
Oi522a/OW2223
~33.7/11 ~
0.475a/0.004577
~33.7/fl
= 40.01 r OJ002223 -0.0030^
-0.00305 0.00457?;
其中•_]= 0.002223, - .!.■! = 0.004577。

由(3.7)式知
f_ 0.522/Jj.002223
1_^3 7^4-2^
0.^5/70,004577
^37/(14-2-1)
查:分布表得,f :!--1一打二- _1.»\,因为:•匚-1- --'J,
'-一 -'.ir'1-:",所以两个自变量〔及〔都是显著的。

又由帚乜,说明体长〔比胸围〔
对体重「的影响更大。

如果应用?检验,查F分布表有屉即)期,
又由
因为'1 " ■■ !'"I, ■'- 1.- 「I ,因此〔及〔都是显著的,均为重要变量,应保留在回归方程中。

(3) 偏回归平方和
检验某一自变量是否显著,还可应用偏回归平方和进行检验。

'■个自变量的回归平方和为
如果自I个自变量中去掉则剩下的T-1个自变量的回归平方和设为I ,并设
则r就表示变量 '在回归平方和U中的贡献,-[称为 '的偏回归平方和或贡献。

可以证明
j. , (3.12)
偏回归平方和「越大,说明[在回归方程中越重要,对.•的作用和影响越大,或者说、对回归方程的贡
献越大。

因此偏回归平方和也是用来衡量每个自变量在回归方程中作用大小(贡献大小)的一个指标。

例如在例2.1中,〔和〔的偏回归平方和分别为
^1=
=121.63743辺 1 0.002223 ,
’化般:詡加
C R 0.004577 ,
一 I, 说明在回归方程中〔的作用比:大。

又如在例2.2中f1「--及的偏回归平方和分别为:
C]] 0,0185 ,
眉*严心血溯
巾2 0.0063 ,
切0.1374 ,
% 0.3732
1的值最小,即‘1在回归方程中所起的作用最小,• I最大,说明1在回归方程中所起的作用最大。

相关主题