多元线性回归的统计检验
βj
βj −βj
S
βj
=
βj −βj
e′e c jj n − k −1
t (n − k − 1)
t 检验
在变量显著性检验中,针对 设计的原假设和备择 Xj 假设为:
H0 : β j = 0
给定一个显著性水平α,得到临界值 根据: t > t (n − k − 1)拒绝原假设H
α
0 2
H1:β j ≠ 0
n −1 R = 1 − (1 − R ) n − k −1
2 2
2.方程总体线性的显著性检验(F检验)
方程显著性F检验的模型:
Yi = β 0 + β1 X 1i + β 2 X 2i + ... + β k X ki + u i
检验参数 βk 是否显著为零。 按照假设检验的原理和程序,原假设与备择假 设:
F > Fα (k , n − k − 1)拒绝原假设H 0 F ≤ Fα (k , n − k − 1)接受原假设H 0
拟合优度与F检验关系1
不同点 1.拟合优度:从已经估计的模型出发,检验它对 样本观测值得拟合程度 2.F检验:从样本观测值出发检验模型总体的线 性关系的显著性。 联系 模型对样本的观测值拟合程度高,模型总体线 性关系的显著性就强
多元线性回归模型的统计检验
1、拟合优度检验 2、方程总体线性的显著性检验(F检验) 3、变量的显著性检验(t检验)
1.拟合优度检验
可决系数与调整可决系数 总离差平方和TSS,回归平方和ESS,残差平方和 RSS
TSS = ∑ Yi − Y
(
)
2
ESS = ∑ Y i − Y
拟合优度与F检验关系2
两个统计量之间的关系式:
n −1 R = 1− n − k − 1 − kF
2
或者
F= R (1 − R )
2 2
k
(n − k − 1)
变量的显著性检验( t 检验)
多元线性回归模型,方程的总体线性关系式显 著的,并不能说明每个解释变量对被解释变量 的影响都是显著的。因此必须对每个解释变量 进行显著性检验,以决定是否作为解释变量被 保留在模型中。
t 统计量ቤተ መጻሕፍቲ ባይዱ
参数估计量的方差:
Cov( β ) = σ 2 ( X ′X ) −1
c jj表示矩阵 XX)−1主对角线上的第j个元素。 ( ′ 2 2 σ 是随机干扰项的方差,实际计算中用 σ 代
替。 β j 服从正态分布如下:
N ( β j , σ 2 c jj )
t=
Var ( β j ) = σ 2 c jj
2
RSS = ∑ Yi − Yi
2
TSS = RSS + ESS
可决系数
回归平方和占总离差的比重即是衡量样本回归 线对样本观测值得拟合程度。
ESS RSS R = = 1− TSS TSS
2
R 越接近1,模型的拟合程度越高
2
可决系数的问题
在实际应用中发现,如果模型中每增加一个解 释变量, 2 往往随之增大。 R 原因:残差平方和往往随着解释变量个数的增 加和减少,至少不会增加。 因此,在多元回归模型之家比较拟合优度, 2 R 不是一个合适的指标。
H 0::β1 =0,β 2 =0,...,β k =0 H1 : β j ( j = 1, 2,..., k )不全为零
F检验
在原假设H0:成立的条件下,统计量:
F = E SS R SS k ( n − k − 1)
服从自由度(k,n-k-1)的F分布。 给定显著性水平α,比较 Fα与F值大小:
tα
2
t ≤ tα (n − k − 1)接受原假设H 0
2
注意
没有绝对的显著性水平。关键仍然是考察经济 变量在经济关系上是否对解释变量有影响,显 著性检验起到验证的作用。同时还要看显著性 水平不太高的变量在模型中及模型应用中的作 用,不要简单剔除变量!!
可调整的可决系数
思路:在样本容量一定的情况下,增加解释变 量必定使得自由度减少,所以要将残差平方和 与总离差平方和分别除以各自的自由度,剔除 变量个数对拟合优度的影响。公式如下:
(n − k − 1) R = 1− TSS (n − 1)
2
RSS
可决系数与调整可决系数的关系
经过计算转化后可决系数与调整后的可决系数 之间的关系: