称为回归系数。y称为因变量，而x1,x2,…,xp是p个可以精确测
量并可控制的一般变量，称为自变量。 i 是随机误差，对随
机误差项假定
Di 2 Ei 0
i 1,2, , n
cov i , j
2,i j
0,i j
i, j 1,2, , n
对一个实际问题，如果我们获得n组观测数据（xi1,xi2,…,xip;yi), i=1,2,…,n，则线性回归模型式（4-20）可表示为
(4-29)
ˆ2
S2 y S11 S1y S21 S11S22 S12 S21
(4-30)
ˆ0 y ˆ1x ˆ2 x2
(4-31)
三、多元回归模型的检验
1. 复相关系数检验
检验线性关系密切程度的指标称为相关系数，在多元回 归模型中，由于自变量在两个以上，所以称为复相关系数.
样本复相关系数的计算公式是
检验通过，这时回归模型可用来进行预测。若
，
表明R变量R之n间 线p性相关关系不显著，检验通不过，这时的回归
模型不能用来预测，应分析原因，对回归模型重新加以处理。
2. 拟合优度检验 拟合优度用于检验回归方程对样本观测值的拟合程度。
定义复可决系数R2
R2
1
yi yˆi 2 yi y2
yˆi yi
R 1
y2 i
ˆ1
yi ˆ2
xi1 yi ˆ3
xi2 yi ˆ4
xi3 yi
yi2 ny2
(4-33) (4-34)
第二步，根据回归模型的自由度n-p和给定的显著性水平值 查相关系数临界表，得 R n p 值
第三步，判断。若 R R n p ，表明变量之间线性相关显著，
i1
xi 2
n
xi1
i 1 n
xi21
i 1 n
xi1xi 2
i 1
n
yi
i 1 n
i 1
n
xi1 yi
i 1
x i2
yi
(4-26) (4-27) (4-28)
以上计算公式较繁，较易算的计算公式为
x1
1 n
n i 1
xi1 ,
x2
1 n
n i 1
xi 2 ,
y 1 n
n i 1
yi
n
2
S11 xi1 x1 ,
n
2
S22
xi 2 x2
i 1
n
i 1
S21 S12 xi1 x1 x12 x2 ,
n
i 1
n
S1y xi1 x1 yi y , S2 y xi 2 x2 yi y
i 1
i 1
ˆ1
S1y S22 S11S22
S2 y S12 S12 S21
i 1
n
xi 2
i
i 1 n
xi1
1 n
xi
2
x2 i 2
i 1
ˆ1
n
1
A
n
i 1 n
xi1
i1
xi 2
n
yi
i 1 n
xi1 yi
i 1 n
xi1 yi
i 1
n
xi 2
i 1 n
i
1 n
xi1
xi
2
x2 i 2
i 1
ˆ2
n
1
A
n
i 1 n
xi1
x2
p
yn
1
xn1 xn2
xnp
0 1
B
1
,
2
p
n
(4-22)
二、估计回归参数
1. 回归系数B的估计
采用最小二乘法估计，设观察值与模型估计值的残差为E，则
E Y Yˆ
其中
Yˆ XB
(4-23)
根据最小平方法要求，应有
E' E (Y Yˆ)' (Y Yˆ) 最小值
R
1
yi yˆi 2 yi yi 2
yˆi y2 yi y2
(4-32)
复相关系数检验的步骤为： 第一步，计算复相关系数 二元回归方程复相关系数的计算常用其简捷公式
R 1
yi2 ˆ1
yi ˆ2 xi1 yi ˆ3
yi2 ny2
xi2 yi
三元回归方程R计算常用其简捷公式
差平方和yi y 2 的自由度。
根据式（4-35）和（4-36）可得与之间关系如下
R 2 1 (1 R2 ) n 1 n p
(4-37)
（1）当 p 1 时，R 2 R2 。说明中包含了自变量个数的影 响，随着自变量个数的增加， R 2 总小于 R2 .
(4-24)
2. 二元线性回归方程回归系数的估计
二元线性回归方程为
yˆi ˆ0 ˆ1xi1 ˆ2xi2, ( p 2)
此时
Bˆ
ˆ0 ˆ1
,
X
ˆ2
1
1
1
x11 x21 xn1
x12
x22
xn2
得出 ˆ0, ˆ1, ˆ2 的计算公式如下：
A X'X
n
n
i 1 n
xi1
i1
xi 2
n
xi1
i 1 n
xi21
i 1 n
xi1xi 2
i 1
n
xi 2
i 1 n
i
1 n
xi1
xi
2
x2 i 2
i 1
(4-25)
ˆ0
n
yi
1
A
i 1 n
xi1 yi
i 1 n
i1
xi 2 yi
n
xi1
i 1 n
xi21
i 1 n
xi1xi 2
多元线性回归预测法
多元线性回归模型 估计回归参数 多元线性回归模型的检验 预测区间 标准化回归系数
一、多元线性回归模型
设随机变量y与x1,x2,…,xp一般变量的线性回归模型为
yi 0 1xi1 2xi2 p xip i
(4-20)
其中，0, 1, , p 是p+1个未知参数，0 称为回归常数，1, , p
y 2 y 2
(4-35)
0 R2 1
复可决系数R2是检验多元线性回归模型拟合优度的度量 指标，R2越接近1，表示拟合得越好；反之，则拟合得不 好。
定义一个校正R2，记为 R 2
R 2 1
yi yˆi 2 /(n p) yi y2 /(n 1)
(4-36)
这里，n-p是残差平方和 yi yi 2 的自由度，n-1是总离
即 E' E (Y XB)' (Y XB) 最小值
由极值原理，根据矩阵求导法则，对B求导，并令其等于零，则得
E' E Y XB'Y XB
B
B
Y 'Y 2Y ' XB B' X ' XB
B
2Y ' X '2X ' X B 0
整理得回归系数向量B的估计值
Bˆ X ' X 1 X 'Y
y1 0 1x11 2 x12 p x1p 1
y2 0 1x21 2 x22 p x2 p 2yn源自01xn1 2 xn2
p xnp
n
写成矩阵形式为
y XB
(4-21)
其中
y1
1 x11 x12 x1p
y
y2
,
X
1
x21
x22