回归模型的统计检验
2
(2)校正可决系数
RSS / n k 1 R 1 TSS / n 1
2
n 1 2 1 (1 R ) n (k 1)
R 2 R2
Hale Waihona Puke R2可以为负
补充:关于假设检验(在进行F/T统计检验之前)
假设检验是统计推断的一个主要内容,它的基本任务是根 据样本所提供的信息,对未知总体分布的某些方面的假设 作出合理的判断。 假设检验的程序是,先根据实际问题的要求提出一个论断, 称为统计假设;然后根据样本的有关信息,对假设的真伪 进行判断,作出拒绝或接受假设的决策。 假设检验的前提是知道所估计的样本回归系数概率分布性 质,即对总体回归系数某种原假设成立。 假设检验的基本思想是概率性质的反证法。 概率性质的反证法的根据是小概率事件原理,该原理认为 “小概率事件在一次试验中几乎是不可能发生的,如果该小 概率事件竟然发生了,就认为原假设不正确,而拒绝原假 设,不拒绝备则假设”。 下面讲授的模型的显著性检验及解释变量的显著性检验都 基于此基础。
二、模型的显著性检验
所谓模型的显著性检验,就是检验模型对总体的近 似程度,而且最常用的检验方法是F检验。 1.F检验的思想 F检验的思想来自于总离差平方和的分解式: TSS=ESS+RSS 由于回归平方和ESS是解释变量X联合体对被解释 变量Y的线性作用的结果,所以,如果ESS/RSS的 比值较大,则 X 的联合体对 Y的解释程度高,可认 为总体存在线性关系,反之总体上可能不存在线性 关系。 因此 , 可通过该比值的大小对总体线性关系进行推 断。
⒈总变差的分解
设估计的多元线性回归模型为:
ˆ ˆ x ˆ x ˆ x e yi 0 1 1i 2 2i k ki i
分析Y的观测值、估计值和平均值的关系
ˆi y yi y ˆi yi y y
因为 yi y 0 ,将上式两边平方加总,可证 得 2 2 2 ˆi y yi y ˆi yi y y
判定系数与相关系数的关系
联系:数值上判定系数是相关系数的平方。 区别: ⑴前者就模型而言,后者就两个变量而言。 ⑵前者说明解释变量对被解释变量的解释程度, 后者说明两变量线性依存程度。 ⑶前者度量的不对称的因果关系,后者度量的不 含因果关系的对称相关关系。 ⑷前者取值[0,1]非负,后者取值[-1,1],可正可负。
一、模型的拟合优度检验
所谓拟合优度,即模型对样本数据的近似程 度。由于实际观察得到的样本数据是对客观 事实的一种真实反映,因此,模型至少应该 能较好的描述这一部分客观实际情况。为了 考察模型的拟合优度,需要构造一个指标— —判定系数(可决系数)。 认识判定系数之前让我们回顾一下关于样本 与总体回归函数,了解总离差分解。
在应用过程中我们会发现,如果在模型中增加一 个解释变量,模型的解释功能增强了,可决系数 R 2 计
2 ˆ y y 算公式中的分子——回归平方和 i 就会增大,
因而 R 就增大。这就给人一种错觉:似乎要使模型拟 合得好,就必须增加解释变量。但是,在样本容量一 定的情况下,增加解释变量必定使得自由度减少。所 以,用以检验拟合优度的统计量必须能够防止这种倾 2 2 R R 向,我们可以用自由度来调整 ,用 来表示调整 后的可决系数,以剔除解释变量数目与样本容量的影 响,使具有不同样本容量和解释变量数目的回归方程 可以进行拟合优度的比较。
y
yi
ei
yi y
ˆi y y
SRF
y
xi
x
TSS ( yi y ) 2 ˆi y )2 ESS ( y ˆi )2 RSS ( yi y
TSS为总体平方和(Total Sum of Squares),反 映样本观测值总体离差的大小;ESS为回归平方和 (Explained Sum of Squares),反映由模型中 解释变量所解释的那部分离差的大小;RSS为残差 平方和(Residual Sum of Squares),反映样本 观测值与估计值偏离的大小,也是模型中解释变 量未解释的那部分离差的大小。 TSS=RSS+ESS
注意的问题
判定系数只是说明列入模型的所有解释变量对 被解释变量的联合的影响程度,不说明模型中 每个解释变量的影响程度(在多元中) 回归的主要目的如果是经济结构分析,不能只 追求高的判定系数,而是要得到总体回归系数 可信的估计量。判定系数高并不一定每个回归 系数都可信。 如果建模的目的只是为了预测被解释变量值, 不是为了正确估计回归系数,一般可考虑有较 高的判定系数。
对于样本回归模型拟合总体模型,我们通常要进 行经济检验、统计检验、计量检验等。 统计检验则是在一定概率下求出参数,检验样本 对总体的代表性、影响关系是否显著等问题。主 要通过一些统计检验方法来保证模型在统计意义 上(即以样本推断总体)的可靠性。 我们所要进行的统计检验包括两方面,一方面检 验回归方程对样本数据的拟合程度,通过可决系 数;另一方面检验回归方程的显著性,通过假设 检验对模型中被解释变量与解释变量之间的线性 关系在总体上是否显著成立作出判断,包括对回 归方程线性关系的检验和对回归系数显著性的检 验。
数)R2和校正可决系数
(1)可决系数
2、拟合优度检验统计量:可决系数(判定系
R2
2 R 用可决系数 进行拟合优度检验,可决系
数的计算公式为:
2 ˆ y y R2 i 2 y y i
0 R 2 1 ,该统计量越接近于 1,模型
的拟合优度越高。
判定系数不仅反映了模型拟合程度的优劣,而且有 直观的经济含义:它定量地描述了y的变化中可以 用回归模型来说明的部分,即在被解释变量的变动 中,由模型中解释变量所引起的比例。 见前一节例题,解释意义 判定系数的特点: ⑴判定系数取值范围[0,1]。 ⑵随抽样波动,样本判定系数是随抽样而变动的随 机变量。 ⑶判定系数是非负的统计量。