（12.2）
式中， i (i 1,2, , n)是服从正态分布 N (0, 2 )的n个相互独立同分布的随机
变量。
第12章
12.1多元线性回归分析
第7页
1 x11
记
X 1 x21
1 xn1
ε [1 2
式（12.2）可以表示为
其中 En为n阶单位矩阵。
x12
x1m
x22
x2m
,
xn2
xnm
i 1
i 1
0
n i 1
xim
1
n i 1
xi1 xim
2
n i 1
xi 2 xim
n
n
m xi2m xim yi .
i 1
i 1
（12.7）
正规方程组的矩阵形式为 X T Xβ X TY ，
（12.8）
第12章
12.1多元线性回归分析
第 10 页
当矩阵 X 列满秩时， X T X 为可逆方阵，式（12.8）的解为 βˆ ( X T X )1 X TY .
量 x1, x2 , , xm 对变量 y 是否都有影响？需要做统计检验。
n
对总平方和 SST ( yi y)2 进行分解，有 i 1
SST SSE SSR，
（12.12）
第12章
12.1多元线性回归分析
第 12 页
其中 SSE 是由（12.11）定义的残差平方和，反映随机误差对 y 的影响；
利用回归方程进行预测。
第12章
12.1多元线性回归分析
第6页
1.回归系数的最小二乘估计
对 y 及 x1, x2 , , xm 作 n 次 抽 样 得 到 n 组 数 据 ( yi , xi1, , xim ) ， i 1, ,n,n m。代入式（12.1），有
yi 0 1 xi1 m xim i，
12.1多元线性回归分析
第4页
12.1.1 多元线性回归模型
多元回归分析是研究随机变量之间相关关系的一种统计方法。通过对 变量实际观测的分析、计算，建立一个变量与另一组变量的定量关系即回归 方程，经统计检验认为回归效果显著后，可用于预测与控制。
第12章
12.1多元线性回归分析
第5页
设随机变量 y 与变量 x1, x2 , , xm 有关，则其m 元线性回归模型为
i 1
i 1
（12.11）
为残差平方和（或剩余平方和）。
第12章
12.1多元线性回归分析
第 11 页
2.回归方程和回归系数的检验
前面是在假定随机变量 y 与变量 x1, x2 , , xm 具有线性关系的条件下建
立线性回归方程的，但变量 y 与变量 x1, x2 , , xm 是否为线性关系？所有的变
Python数学实验与建模
第十二章
回归分析
第12章
第12章 回归分析
第2页
本章介绍多元线性回归分析、岭回归、LASSO 回归和 Logistic 回归及 其 Python 实现。
目录 CONTENTS
01 多元线性回归分析 02 线性回归模型的正则化 03 Logistic回归模型的应用
第12章
（12.13）
第12章
12.1多元线性回归分析
第 14 页
在显著性水平 ，有上 分位数F (m,n m 1)，若F F (m,n m 1)，
回归方程效果显著；若F F (m,n m 1)，回归方程效果不显著。
注 12.1 y 与 x1, , xm的线性关系不明显时，可能存在非线性关系，如 平方关系。
第12章
12.1多元线性回归分析
第 15 页
当上面的 H0被拒绝时， j不全为零，但是不排除其中若干个等于零。
（12.9）
将 βˆ [b0 ,b1, ,bm ]代入式（12.1），得到 y 的估计值
yˆ b0 b1 x1 bm xm.
（12.10）
而这组数据的拟合值为Yˆ Xβˆ ，拟合误差e Y Yˆ 称为残差，可作为随
机误差 ε 的估计，而
n
n
SSE ei2 ( yi yˆi )2
n
n
Q
2 i
( yi 0 1 xi1
i 1
i 1
m xim )2
（12.5）
达到最小。为此，令 Q 0， j 0,1,2, ,m.
j
得
Q
0
Q
j
n
2 ( yi 0 1xi1
i 1
n
2 ( yi 0 1xi1
i 1
m xim ) 0, m xim ) xij 0,
y 0 1 x1 m xm ，
（12.1）
式中， 是随机误差服从正态分布 N (0, 2 )，0 , 1, , m 为回归系数。
回归分析的主要步骤是：（1）由观测值确定参数（回归系数）0 , 1, , m 的
估计值b0 ,b1, ,bm ；（2）对线性关系、自变量的显著性进行统计检验；（3）
第12章
12.1多元线性回归分析
第 13 页
因变量 y 与自变量 x1, , xm之间是否存在如式（12.1）所示的线性关系
是需要检验的，显然，如果所有的| ˆ j | ( j 1, ,m)都很小，y 与 x1, , xm的
线性关系就不明显，所以可令原假设为
H0 : 1 2 m 0.
当 H0成立时由分解式（12.12）定义的 SSR, SSE满足 F SSR / m ~ F (m,n m 1). SSE / (n m 1)
SSR
n
( i
i 1
y)2 称为回归平方和，反映自变量对 y 的影响，这里 y
1 n
n i 1
yi ，
yˆi b0 b1 xi1 bm xim。上面的分解中利用了正规方程组，其中 SST 的自
由度dfT n 1， SSE 的自由度dfE n m 1， SSR的自由度dfR m 。
n ]T ， β [0
y1
Y
y2
，
yn
1
m ]T .
Y Xβ ε,
ε
~
N (0,
2 En ),
（12.3） （12.4）
第12章
12.1多元线性回归分析
第8页
模型（12.1）中的参数0 , 1, , m 用最小二乘法估计，即应选取估计值
bj ，使当 j bj， j 0,1,2, ,m时，误差平方和
（12.6） j 1,2, ,m.
第12章
12.1多元线性回归分析
第9页
经整理化为以下正规方程组
0
n
1
n
xi1 2
n
xi2
n
n
m xim yi ,
i 1
i 1
i 1
i 1
0
n i 1
xi1
1
n i 1
xi21
2
n i 1
xi1 xi2
n
n
m xi1 xim xi1 yi ,