线性回归的显着性检验
1.回归方程的显着性
在实际问题的研究中,我们事先并不能断定随机变量y与变量人,乂2,…,x p之间确有线
性关系,在进行回归参数的估计之前,我们用多元线性回归方程去拟合随机变量y与变量
X「X2,…,X p之间的关系,只是根据一些定性分析所作的一种假设。
因此,和一元线性回归方程的显着性检验类似,在求出线性回归方程后,还需对回归方程进行显着性检验。
设随机变量丫与多个普通变量x1, x2^ ,x p的线性回归模型为
其中;服从正态分布N(0,;「2)
对多元线性回归方程的显着性检验就是看自变量若接受X i,X2,…,X p从整体上对随机变
量y是否有明显的影响。
为此提出原假设如果H。
被接受,则表明随机变量y与x「X2,…,X p的
线性回归模型就没有意义。
通过总离差平方和分解方法,可以构造对H o进行检验的统计量。
正
态随机变量y i,y2/ , y n的偏差平方和可以分解为:
n n n
S r f (y—y)2为总的偏差平方和,S R=為(懈-y)2为回归平方和,S E f (% - ?)2为残
i 1i# im
差平方和。
因此,平方和分解式可以简写为:
回归平方和与残差平方和分别反映了b = 0所引起的差异和随机误差的影响。
构造F检验统计量则利用分解定理得到:
在正态假设下,当原假设H o :b i =0, b2 =0,…,b p =0成立时,F服从自由度为(p,n -p-1)的F分布。
对于给定的显着水平[,当F大于临界值(p, n-p-1)时,拒绝H。
,说明回归方程显着,x与y有显着的线性关系。
实际应用中,我们还可以用复相关系数来检验回归方程的显着性。
复相关系数R定义为:
平方和分解式可以知道,复相关系数的取值范围为0空R乞1。
R越接近1表明S E越小,回归方程拟合越好。
2.回归系数的显着性
若方程通过显着性检验,仅说明b o,b i,b2,…b p不全为零,并不意味着每个自变量对y的影响都显着,所以就需要我们对每个自变量进行显着性检验。
若某个系数b^0,则X j对y
影响不显着,因此我们总想从回归方程中剔除这些次要的,无关的变量。
检验X i是否显着,等于假设
已知N[B,;「2(XX)J],记(XX),( C j) i, j =0,1,2,…,p,可知b j ~N[b j,c 产2],
j =0,1,2,…p,据此可构造t统计量
其中回归标准差为
当原假设H°j:b j=0成立时,则t j统计量服从自由度为n-p-1的t分布,给定显着性水平〉,当tj>^2时拒绝原假设H°j:b j= 0,认为X j对y影响显着,当耳<02时,接受原假设 H 0j : b j = 0,认为X j对y影响不显着。