y b0 b1x1 b2x2 bk xk
其中，b0 ，b1，b2 ，，bk是参数 是被称为误差项的随机变量 y 是x1,，x2 ， ，xk 的线性函数加上误差项 包含在y里面但不能被k个自变量的线性关系所解
释的变异性
12.1.1 多元回归模型与回归方程
(1). 误 差 项 ε 是 一 个 期 望 值 为 0 的 随 机 变 量 ， 即
12.1.1 多元回归模型与回归方程
根据回归模型的假定有E(y)=b0+b1x1+b2x2+…+ bk xk，
上 式 称 为 多 元 回 归 方 程 (multiple regression equation)，它描述了因变量y的期望值与自变量x1， x2，...，xk之间的关系。
yi b0 b1x1i b2x2i bk xki i E( y) b0 b1x1 b2x2 bk xk
多元线性回归
第12章 多元线性回归
§12.1 §12.2 §12.3 §12.4 §12.5 §12.6 §12.7
多元线性回归模型 回归方程的拟合优度 显著性检验 多重共线性 利用回归方程进行估计和预测(删去) 变量选择与逐步回归(删去) 虚拟自变量的回归
§12.1 多元线性回归模型
12.1.1 多元回归模型与回归方程 12.1.2 估计的多元回归方程 12.1.3 参数的最小二乘估计
12.2.2 估计标准误差
多元回归分析中的估计标准误差也是对误差项的标 准差的一个估计值，它是衡量多元回归方程的 拟合优度方面也起着重要作用。
计算公式为
多元回归中对se的解释： 由于se所估计的是预测误差的标准差，其含义是根据
自变量x1，x2，…，xk来预测因变量y时的平均预 测误差。
§12.) b0 b1x1 b2x2 bk xk
(2).对于自变量x1，x2，…，xk的所有值，的方差
2都相同 (3). 误 差 项 ε 是 一 个 服 从 正 态 分 布 的 随 机 变 量 ， 即
ε~N(0,2)，且相互独立。独立性意味着对于自 变量x1，x2，…，xk的一组特定值所对应的ε与x1， x2，…，xk任意一组其他值所对应的ε不相关。 正态性意味着对于给定的x1，x2，…，xk的值， 因变量y也是一个服从正态分布的随机变量。
计算公式为
12.2 多重判定系数
注：由于自变量个数的增加，将影响到因变量中被估 计回归方程中所解释的变差数量。当增加自变量时， 会使预测误差变得比较小，从而减少残差平方和 SSE，由于回归平方和SSR=SST-SSE，当SSE变小 时，SSR会变大，从而R2也会变大。如果模型中增 加一个自变量，即使这个自变量在统计上并不显著， R2也会变大，为避免这种情况，提出调整的多重判 定 系 数 (adjusted multiple coefficient of determination)
回归方程，一般形式为：
yˆ bˆ0 bˆ1x1 bˆ2x2 bˆk xk 其中bˆ0，bˆ1，，bˆk 称为偏回归系数。
12.1.3 参数的最小二乘估计
1.使因变量的观察值与估计值之间的离差平方和 达到最小来求得 bˆ0 , bˆ1 , bˆ2 ,, bˆ p 。即
2.求解各回归参数的标准方程如下
12.3.1 线性关系检验 12.3.2 回归系数检验和推断
12.3.1 线性关系检验
1.检验因变量与所有自变量之间的关系是否显著， 也被称为总体显著性检验。
计算公式为
12.2 多重判定系数
调整的多重判定系数 的解释与R2类似，不同的是： (1). 同时考虑了样本量和模型中的自变量的个数
的影响，这就使得 的值永远小于R2，而且 的 值不会由于模型中自变量个数的增加而越来越接 近1。因此，在多元回归分析中，通常用调整的 多重判定系数。 (2).R2的平方根称为多重相关系数，也称为复相关 系数，它度量了因变量同k个自变量的相关程度。
12.1.1 多元回归模型与回归方程
二元线性回归模型
回归面
y
y b0 b1x1 b2x2
(观察到的y)
} b0
i
x2
(x1,x2)
x1
E( y) b0 b1x1 b2x2
12.1.2 估计的多元回归方程
回归方程中的参数b0，b1，，b
是未知的，需要
k
利用样本数据去估计它们。
当用样本统计量bˆ0，bˆ1，，bˆk去估计回归方程中的 未知参数b0，b1，，bk时，就得到了估计的多元
Q
b
0
b0 bˆ0
0
Q
bi
bi bˆi
0
(i 1,2,, k)
12.1.3 参数的最小二乘估计
【例12.1】继续沿用第11章中例11.6。一家大型商业 银行在多个地区设有分行，其业务主要是进行基 础设施建设、国家重点项目建设、固定资产投资 等项目的贷款。近年来，该银行的贷款额平稳增 长，但不良贷款额也有较大比例的提高，这给银 行业务的发展带来较大压力。为弄清楚不良贷款 形成的原因，抽取了该银行所属的25家分行2002 年的有关业务数据。试建立不良贷款(y)与贷款余 额(x1)、累计应收贷款(x2)、贷款项目个数(x3)和 固定资产投资额(x4)的线性回归方程，并解释各回 归系数的含义
用Excel进行回归
12.1.3 参数的最小二乘估计
§12.2 回归方程的拟合优度
12.2.1 多重判定系数 12.2.2 估计标准误差
12.2 多重判定系数
多元回归中因变量离差平方和的分解： SST=SSR+SSE
多重判定系数(multiple coefficient of determination) 是多元回归中的回归平方和占总平方和的比例， 它是度量多元回归方程拟合程度的一个统计量， 反映了在因变量y的变差中被估计的回归方程所解 释的比例。
12.1 多元线性回归模型
一个因变量与两个及两个以上自变量的回归问题就是 多元回归。
12.1.1 多元回归模型与回归方程
设因因变的变量方量y程，y如，k个何称自依为变赖多量自元分变回别量归为x模1，x型1，x(2m，xu2，…ltip…，le，xkr和xegk，误res描差sio项述n
model)。多元回归模型一般形式为：