决定一个变量是否引入回归模型，就要先研究它的边际贡献，以正确 地建立模型。如果变量的边际贡献较小，说明改变量没有必要加入模型。
分析变量的编辑贡献，可以使用方差分析表为工具，根据变量引入前、 后的RSS的变化量及其显著性检验（扣除原来引入模型的解释变量的贡 献），确定该变量的边际贡献是否显著。
一个简单的检验方法，就是对引入新变量后的RSS增量与新的ESS的 比值做显著性检验。
ESS TSS ESS Y'Y nY 2 Y' Y βˆ ' X' y βˆ ' X' Y nY 2
方差分析表（ ANOVA)
平方和
df
ESS
(Yˆi Yˆ)2 Y' Y βˆ ' X' Y
k-1
RSS
uˆ2 βˆ ' X' Y nY 2
i
n-k
TSS
(Yi Y )2 Y'Y nY2
2
n
u2
un
或： Y Xβ u
Y为因变量观测值列向量
在
Y Xβ u 中，X为数据矩阵。
β 为待估计参数列向量
u为随机扰动项列向量
二、多 变量线性回归模型的基本假定
1、 Eu 0
随机干扰项的期望值为0。
u1
2、
E
u
u
'
u2 un
u1
u2
2 0 0 0
0 0
可得到如下正规方程组：
nˆ1 ˆ2 X 2i ˆk X ki Yi
ˆ1
X 2i ˆ2
X
2 2i
ˆk
X 2i X 3i ˆk
X 2i X ki
X 2iYi
ˆ1
X 3i ˆ2
X 3i X 2i ˆ2
X2 3i
ˆk
X 3i X ki
X 3iYi
ˆ1
3、最小方差性 OLS估计量βˆ 具有Var(βˆ )最小。
第三节 拟合优度检验：
一、判定系数R2： 总平方和：
TSS
y2 i
(Yi Y )2 Yi2 2 YiY nY
Y'Y nY 2 残差平方和：
RSS uˆ 2 uˆ 'uˆ Y' Y βˆ ' X' Y i
回归平方和：
R 2 1 ESS /(n k ) 1 (1 R2 ) n 1
TSS /(n 1)
nk
1
ˆ 2
Se(Yˆ )
三、R2 与 R 2的性质
0 R2 1,
0 R2 1
R 2 R2 , 当k 时，R 2 R2
第四节 显著性检验
一、单参数的显著性检验：
根据假定，u ~ N (0, 2I)，因此ˆ ~ N ( , 2 (X' X)1)
X ki ˆ2
X ki X 2i ˆk
X ki X 3i ˆk
X2 ki
X kiYi
写成矩阵形式：
n
X 2i
X 3i
X 2i
X 3i
X2 2i
X 3i X 2i
X 2i X 3i X2
3i
X ki
X ki X 2i
X ki X 3i
1
1
1
X 21 X 22 X 23
以ˆ代替，则统计量
t
ˆi i Se(ˆi )
~
t(n k)
检验 ˆi 的显著性， 即在一定显著水平下， ˆi 是否显著不为0。
原假设H0 : i 0 备择假设H1 : i 0
如果接受H0 ，则变量Xi 对因变量没有影响，而接受H1，则说明变 量Xi 对因变量有显著影响。
检验步骤：
(1)选择显著水平，如 0.05。
一、参数估计
SRF :
Yi ˆ1 ˆ2 X2i ˆ3X3i ˆk Xki uˆi
根据残差的平方和最小化的原理，解出参数的估计量。
残差平方和RSS
uˆ 2 i
(Yi ˆ1 ˆ2 X 2i ˆk X ki )2
uˆ 'u
Y Xβˆ uˆ uˆ Y Xβˆ
RSS uˆ2 uˆ 'u (Y Xβˆ )'(Y Xβˆ ) i Y' Y 2βˆ ' X' Y βˆ ' X' Xβˆ Y' Y βˆ ' X' Y
把计算出的该统计量的值与α 显著水平下的临界值进行比较： 若 F F (m, n k m)，则新增变量的边际贡献不显著 F F (m, n k m)，则新增变量的边际贡献显著
引入的新变量的边际贡献显著，则应该把这些变量纳入回归模型，否 则这些变量不应引入回归模型做解释变量。
二、逐步回归法
第五节 解释变量的选择
在回归模型中的解释变量，除非由明确的理论指导或其他原因，在选 择上具有一定的主观性，如何正确选择解释变量是非常重要的。
一、解释变量的边际贡献分析
在建立回归模型时，假定我们顺序引入变量。在建立了Y与X2的回归 模型，并进行回归分析后，再加入X2。考虑加入的变量X2是否有贡献： 能否再加入后显著提高回归的解释程度ESS或决定系数R2。ESS提高的量 称为变量X2的边际贡献。
m n-(k+m)
U1/(k-1) U2/(k+m-1) (U2-U1)/m Q/( n-k-m)
TSS
n-1
定义统计量： F (ESS'ESS) / m RSS' /(n k m)
并检验其显著性。
在新引入变量的系数为0的原假设下，
统计量 F (ESS'ESS) / m ~ F (m, n k m) RSS' /(n k m)
选择其中ESS最大并通过F检验的变量作为首选解释变量，假定是X2 。
可以利用方差分析表来进行分析。 设ESS为引入变量前的回归平方和，ESS’ 为引入m个新变量后，得 到的回归平方和，RSS’为引入变量后的残差平方和。 ANOVA表如下：
平方和
自由度
均方差
引入变量前的ESS 引入变量后的ESS 添加变量的边际贡献 添加变量后的RSS
U1 U2 (U2-U1) Q
k-1 k+m-1
Yi a 2 X 2i ui Yi 1 2 X 3i ui
Yi 1 2 X ki ui
回归后， TSS( X 2 ) ESS( X 2 ) RSS( X 2 )
得到各 回归方
TSS( X 3) ESS( X 3) RSS( X 3)
程的平
方和
TSS( X k ) ESS( X k ) RSS( X k )
成立。
5、u ~ N (0, 2I)
随机干扰项服从正态分布。
三、多 变量线性回归模型的SRF
SRF :
Yi ˆ1 ˆ2 X 2i ˆ3 X 3i ˆk X ki uˆi
或 Y Xβˆ uˆ
其中βˆ 和uˆ分别为回归系数的OLS估计量的列向量和残差列向量。
第二节 多变量回归模型的OLS估计
X
31
X 32
X 33
X
k1
Xk2
X 3k
1 Y1
X 2n Y2
X 3n
Y3
X kn Yn
即： (X'X)βˆ X'Y
βˆ (X'X)1 X'Y
X ki ˆ1
X X
2i 3i
X X
ki ki
ˆ2 ˆ3
X2 ki
ˆk
如果直接用矩阵微分，则
uˆ 2 Y' Y 2βˆ ' X' Y βˆ ' X' Xβˆ i
第三章 多变量回归分析
第一节 多变量线性回归模型
一、多变量线性回归模型的PRF
如果假定对因变量Y 有k-1个解释变量：X2，X3，…，Xk，k 变量总 体回归函数为：
其中PR1为F 常: 数项Y，i 2 ~1 2为2 X解2i释变3量XX3i 2~Xk的系k X数ki ， uui为, i随 1机,2干,扰,项k 。
（2）计算统计量：
t
ˆi Se(ˆi )
（3）查t分布表，找出t (n k)。 2
（4）判断：
t 若
t
t 2 (n k )，则接受H0 , 参数i显著异于0
t
2
(n
k
)，则拒绝H
0
,
接受H1
,
参数
不
i
显著异于0
如果根据理论或常识，i 非负，则可做单侧检验，比较 t 与tα。
若 t t (n k)，则接受H0,参数i不显著异于0 t t (n k)，则拒绝H0 , 接受H1,参数i显著异于0
n-1
均方差
(Y' Y βˆ ' X' Y) /(k 1) (βˆ ' X' Y nY 2 ) /(n k )
判定系数：
二、校正的R2 ：
R2
ESS TSS
βˆ ' X' y nY 2 Y' Y nY 2
由R2的计算式可看出， R2 随解释变量的增加而可能提高（不可能降
低）：
R2
ESS TSS
2 0 0 2
0 0
2I
0 0 0 2
u12 u1u2
un
u2u1
u
2 2
unu1 unu2
u1un
u2un
un2
同方差性；无序列相关。
3、 X为非随机的
4、r（X） k
无多重共线性，即Xi (i = 2,3, …,k )之间不存在线性关系：
不存在不全为零的一组数：1, 2 , k , 使： 1 X1i 2 X 2i , k X ki 0