多元线性回归的计算方法
2011级数学基地班 杨万玺 1142012036
摘要：
回归分析是处理变量间相关关系的一种有效的统计方法。

分为一元与多元两大类，通过观测数据，寻找某些指标与变量间关系，当假设满足线性关系时，就使用线性回归方法建立模型，反应与预测未来趋势。

关键词：多元线性回归 数学模型 检验 正文：
一、多元线性回归模型建立
设因变量Y 与自变量12m X X X ，，线性相关，n 次观测数据：
()12;,,
,1i i i im y x x x i m =满足以下多元线性回归模型：
1011111
0111m m n
m nm n
y x x y x x ββββεββββε=++++⎧⎪⎨
⎪=++
++⎩（1.1）
其中i ε（i=1…n ）是观测误差，一般假定21
(0,)N εσ，且互相独立。

记
111
11(1)
11,1m n n m m n nm y x x Y X y x
x ⨯⨯+⎛⎫⎛⎫ ⎪ ⎪== ⎪ ⎪ ⎪ ⎪⎝⎭⎝
⎭
，0111(1)1,n m n m βεββεεβ⨯+⨯⎛⎫
⎛⎫ ⎪ ⎪ ⎪== ⎪
⎪ ⎪ ⎪⎝⎭⎝⎭
则（1.1）可以写成矩阵形式：
⎩⎨⎧==+=n
I COV E X Y 2
),(,0)(σεεεεβ 为高斯—马尔柯夫线性模型(多元线性回归模型)，并简记为),,(2
n I X Y σβ
二、模型参数估计
2.1 参数β的最小二乘估计
有n 组独立观测值，（x 1，y 1），（x 2，y 2），…，（x n ，y n ） 设 ⎩⎨
⎧===++=相互独立且，
n i i i i D E n i x y εεεσεεεββ..., ,0,...,2,1,212
10
记 ()∑∑==--==
=n
i i i n
i i
x y Q Q 1
2
101
2
10),(ββεββ 最小二乘法就是选择0β和1β的估计0
ˆβ，1ˆβ使得
),(m in )ˆ,ˆ(1
0,101
0ββββββQ Q = 解得 01
1
22ˆˆˆy x xy x y x x βββ⎧=-⎪⎨-=⎪-⎩
或 ()()
()
∑∑==---=n
i i
n
i i i
x x
y y x x
1
2
1
1ˆβ
其中∑∑====n i i n i i y n y x n x 111,1，∑∑====n i i i n i i y x n xy x n x 1
122
1,1.
（经验）回归方程为: )(ˆˆˆˆ1
10x x y x y -+=+=βββ 2.2 参数2σ的无偏估计
记 ()∑∑==-=--==n i n i i i
i
i
e y
y
x y
Q Q 1
1
22
101
0)ˆ(ˆˆ)ˆ,ˆ(ββββ 称Q e 为残差平方和或剩余平方和.
2σ的无偏估计为 )2(ˆ2-=n Q e e σ
称2ˆe σ为剩余方差（残差的方差）， 2ˆe σ分别与0
ˆβ、1ˆβ独立 。

e σ
ˆ称为剩余标准差. 三、模型检验、预测、控制
3.1 回归方程的显著性检验
对回归方程x Y 10ββ+=的显著性检验，归结为对假设
0:;0:1110≠=ββH H
进行检验.
假设 被拒绝，则回归显著，认为y 与x 存在线性关系，所求的线性回归方程有意义；否则回归不显著，y 与x 的关系不能用一元线性回归模型来描述，所得的回归方程也无意义。

用F 方法、T 方法、R 方法判断是否接受假设。

3.2 回归系数的置信区间
1、0β和1β置信水平为1-α的置信区间分别为
⎥⎥⎦
⎤⎢⎢⎣⎡+-++----xx e xx e L x n n t L x n n t 221022101ˆ)2(ˆ,1ˆ)2(ˆσβσβα
α 和 ⎥⎦
⎤⎢⎣⎡-+----xx e xx e L n t L n t /ˆ)2(ˆ,/ˆ)2(ˆ211211σβσβαα
2、2σ的置信水平为1-α的置信区间为
⎥
⎥⎥
⎦
⎤
⎢⎢⎢⎣⎡---)2(,)2(222
21n Q n Q e e ααχχ 3.3 预测、控制
预测：用y 0的回归值0100ˆˆˆx y ββ+=作为y 0的预测值 0y 的置信水平为 1α- 的预测区间为 []0000ˆˆ(),()y
x y x δδ-+ 其中()xx e L x x n n t x 2
02
1011)2(ˆ)(-++-=-ασδ
特别，当n 很大且x 0在x 附近取值时, y 的置信水平为α-1的预测区间近似为
⎥⎦⎤⎢⎣
⎡+---2121ˆˆ,ˆˆαασσu y u y
e e 控制：要求：εββ++=x y 10的值以α-1的概率落在指定区间()y y ''',
只要控制x 满足以下两个不等式y x y y x y
''≤+'≥-)(ˆ,)(ˆδδ
要求：εββ++=x y 10的值以α-1的概率落在指定区间()y y ''',，则()x x ''',就是所求的x 的控制区。