目录
上页
下页
返回
引进矩阵记号
Y
y1
y2
，X
M
1
1 M
x11 x21 M
L L M
x1p
x2 p M
，
0
1
M
，e
1
2
，
M
yn
1 xn1 L xnp
p
n
则模型可表示成矩阵的形式：
Y X e ， i ~ N (0, 2 ) ， e ~ N (0, 2En ) ，
即得正规方程组的解为 9.9
0.575 0.55
1.15
于是得到回归方程为Yˆ 9.9 0.575x1 0.55x2 1.15x3 ．
2020年6月18日星期四
9
目录
上页
下页
返回
二、β的最小二乘估计
多项式回归模型的一般形式为
Y 0 1x 2x2 L pxp ， ~ N (0, 2 ) ， 其中 0 , 1,L , p ， 2 是与 x 无关的未知参数．若令
0 , 1,L , p 为 待 定 系 数 ． 称 数 据 xi1, xi2,L , xip , yi ，
i 1, 2,L , n 为容量为 n 的一个子样观测值(Sub-sample observations)．特殊地，取 p 1，则模型就是一元线 性回归模型．
2020年6月18日星期四
4
11
目录
上页
下页
返回
习题A
2020年6月18日星期四
12
目录
上页
下页
返回
《概率论与数理统计》
*****大学理学院数学系
伯努利（Bernoulli） 柯尔莫哥洛夫(Kolmogorov)
2020年6月18日星期四
1
目录
上页
下页
返回
9.4 多元线性回归
一、多元线性回归模型 二、β的最小二乘估计 三、多项式回归模型
2020年6月18日星期四
2
目录
上页
下页
返回
一、多元线性回归模型
设变量Y 与变量 X1, X 2 ,L , X p 之间有如下关系： Y 0 1X1 L p X p ，
其中 0 , 1,L , p 为未知参数，设随机误差 ~ N (0, 2 ) ， 2 未知．
假设我们对Y , X1, X 2 ,L , X p 进行了 n 次观测，得到 n 组观测值
11
7.6
10.3
9.2
Y
10.2 8.4
,
11.1
192..86
0
1
2 3
2020年6月18日星期四
8
目录
上页
下页
返回
经计算
8 0 0 0
1/8 0 0 0
X T
X
0
8
0
0
,
0 0 8 0
XT X
1
0
1/8
0
0
0 0 1/8 0
0
0
0
8
0 0 0 1/ 8
x1 x, x2 x2,L , xp xp ， 则多项式回归模型就转化元线性回归模型
Y 0 1x1 L p xp ， ~ N (0, 2 ) ．
接下来的求解过程与检验过程与多元线性回归完全相 似，在此不详细论述．
2020年6月18日星期四
10
目录
上页
下页
返回
内容小结
2020年6月18日星期四
其中 En 是 n 阶单位矩阵．
2020年6月18日星期四
5
目录
上页
下页
返回
二、β的最小二乘估计
残差平方和为
n
p
Q( ) ( yi j xij )2 (Y X )T (Y X )
i 1
j0
正规方程组(normal equations)
n
p
( yi j xij )xit 0 ， t 0,1, 2,L , p ．
i 1
j0
写成矩阵的形式：
解为
XTY XT X ．
ˆ X T X 1 X TY .
2020年6月18日星期四
6
目录
上页
下页
返回
【例 15】 某种化工产品的得率 Y 与反应温度 x1 、反应 时间 x2 及某反应物浓度 x3 有关．今得实验结果如下表所 示，其中 x1, x2, x3 均为二水平且均以编码形式表达．设 f (x1, x2 , x3 ) 0 1x1 2 x2 3x3 ，求 Y 的多元回归方 程．
xi1, xi2 ,L , xip , yi ， i 1, 2,L , n ． 它们满足关系式
yi 0 1xi1 L p xip i ， i 1, 2,L , n ．
2020年6月18日星期四
3
目录
上页
下页
返回
这里 i 相互独立，i ~ N (0, 2 ) ．称该模型为多元线性
回归模型(multiple linear regression model)，其中
x1
－1
－1
－
－1
1
1
1
1
x2
－1
－1
1
1
－1
－1
1
1
x3
－1
1
－1
1
－1
1
－1
1
得率 7.6
10.3
9.2
10.2
8.4
11.1
9.8
12.6
2020年6月18日星期四
7
目录
上页
下页
返回
解 因为
1 1 1 1
1 1 1
1
1 1 1 1
X
1 1
1 1
1 1
1
1
,
1 1 1 1
11
1 1
1 1