引进矩阵的形式：
设
y
y1
y2
，
X
1
1
x11 x21
yn
1 xn1
0, 1, p
则多元线性回归模型可表示为：
x1p
x2
p
，
1 2
，
xnp
n
y X
G
M
条件
E( Var( )
)0
2
I
n
其中 I n 为 n 阶单位阵。
为了得到 ˆ0, ˆ1, , ˆp 更好的性质，我们对 给出进
多元线性回归分析简介
一般地，我们需要研究 p 个自变量 x1,K , xp 与 因变量Y 之间相关关系的数量表示。假定自变
量 x1,K , xp 与因变量Y 的均值 E Y A y 之间的
函数关系为 y 0 1x1 L p xp ，其中 0 , 1,L , p 待定，称 1,L , p 为这个 p 元线性 回归函数的回归系数。
n
l jy (xij x j )( yi y ), j 1,L , p i 1
n
lyy ( yi y )2 i 1
记矩阵
L
l11 L
L L
lp1 L
l1 p L
l11
L1
L
L L
lpp
l
p1
L
于是， 0 , 1,L , p 的最小二乘估计为
l1p
L
l
pp
ˆ0 y p ˆ j x j
回归分析的主要任务是通过 n 组样本观测值
xi1, , xip; yi , i 1,2, , n ，对 0, 1, p 进行估计。一般用
ˆ j 表示 j , j 0,1, , p 的估计值。
称
y ˆ0 ˆ1x1 ˆp xp
为 y 关于 x 的多元线性经验回归方程（函数），它表示 p+1 维空间中的一个超平面（经验回归平面）。
n
Q(ˆ0, ˆ1, , ˆp ) ei2 从整体上刻化了 n 组样本观测值 i 1
（ xi1, , xip , yi ）（ i 1,2, , n ）到回归平面
y ˆ0 ˆ1x1 ˆp xp 的距离的大小。
一元回归分析中的结论全部可以推广到多 元的情形中来。
定理 4.2＇ 在 p 元回归分析问题中，（1） ˆ 服从 p+1 维正态分
一、多元线性回归模型的一般形式
Y0 1 x 1 L pxp
多元线性回归方程为：
E ( y) 0 1x1 p x p
当对Y与X进行n次独立观测后,可取得n 组观测值
(xi1,Lxip,yi),i 1 ,2 ,L,n 于是
有Yi 0 1xi1 L p xip i ，i 1,L n 。
普通最小二乘估计(OLSE) 定义离差平方和
n
Q (0 ,1 ,L , p ) ˆ (y i01 x i1 L p x ip)2
i 1
采用最小二乘法估计 0, 1, , p 的准则是：
寻找 ˆ0, ˆ1, , ˆp ，使
Q(ˆ0, ˆ1,
ˆ p
)
min
0 ,1 , , p
Q(0,
1,
,p)
类似于一个自变量的情形，可以把自变量 x1,K , xp 与因变量Y 之间的相关关系表示成 Y 0 1x1 L p xp ，其中随机误差项
~ N 0, 2 。于是，Y ~ N 0 1x1 L pxp, 2
其中 0, 1,L , p, 2 均未知， 0, 1,L , p , 2 0。
一步的假设（强假设）
设 1, 2 , , n 相 互 独 立 ， 且 i ~ N (0, 2 ) ，
（ i 1, , n ），由此可得： y1, y2 , , yn 相互独立，且
yi ~ N (0 1xi1 p xip , 2 ) ，（i 1, , n ）
二 、 参 数 0 ,1 , L , p ,2 的 估 计
最小二乘估计量 ˆj j 0,1,L , p 都是样本Y1,K ,Yn
的线性函数，因此它们都是线性估计。高斯-马尔科夫 证明了最小二乘估计具有下列优良性质。
定理 4.6 在 p 元回归分析问题中，对任意的已知
p
p
常数 a0 , a1,K , ap ， a j ˆ j 总是待估函数 a j j
j0
j0
的最优线性无偏估计量。
由此可知：
定理 4.4＇ 在 p 元回归分析问题中，最小二乘
估计量 ˆ j 是 j 的最优线性无偏估计量，
j 0,1,L , p 。
一些有用的计算公式，类似于一元回归分析问题。
记ቤተ መጻሕፍቲ ባይዱ
xj
1 n
n i 1
xij ,
j 1,L , p;
y
1 n
n i 1
yi
n
l jk (xij x j )(xik xk ), j, k 1,L , p i 1
j 1
ˆ1
M
ˆp
L1
l1y
M
lpy
，且 Q
ˆ0 , ˆ1,L , ˆp
p
lyy ˆ jl jy
j 1
三、回归方程的显著性检验---F 检验 在 p 元回归分析问题中，回归系数的显著性检验 问题是要检验 ： H0 : 1 L p 0
F-检验是根据平方和分解公式，直接从 回归效果来检验回归方程的显著性。和 一元情形类似
定理 4.1＇在 p 元回归分析问题中， 的最小
二乘估计量为 ˆ X X 1 X Y 。
误差方差的估计：
ˆ2
1Q n
ˆ0, ˆ1,L
, ˆp
ˆ 2 n 1 p 1 Qˆ0 ,ˆ1 ,L ,ˆp 当 n 较 小 时
称
yˆi ˆ0 ˆ1xi1
ˆp xip
为 yi 的回归拟合值， ei yi yˆi 为 yi 的残差（ i 1,2, , n ），
布，它的均值向量为 ，协方差矩阵为 2 X X 1 ，
（2）
1
2
Q
ˆ0 , ˆ1,L
, ˆp
nˆ 2 2
n
p 1ˆ 2
2
~
2 n
p 1
（3） ˆ 与 ˆ 2 （或ˆ 2 ）相互独立。
定理 4.3＇ 在 p 元回归分析问题中，最小二乘
估计量 ˆ j 是 j 的无偏估计， j 0,1,L , p ；ˆ2 是 2 的无偏估计。
定义：
总（离差）平方和：SS= ( yi y)2 ,反映了因变量 y 的波
动情况
回归平方和：SSR= ( yˆi y)2 ,是 SS 中由自变量的波动
引起的部分，即在 SS 中能用自变量解释的部分。
残差平方和：SSE= ( yi yˆi )2 ei2 ，由自变量之外