的最
小二乘最估小二y计ˆ 乘，b0 条则b1件x1可为b得2x2 回归 b方M xM程
（1-30）
正规方程Qb为0,b1,b2,,bM i yi yˆi 2 最小
Nb0


i
xi1
b1


i
xi2
b2




i
xiM bM
其中，U 称为回归平方和，反映回归直线 yˆ b0 bxi 对均值 y 的偏离情况，即 y 随 x 变化
产生的线性变化在总的离差平方和中所起的作
用。Q 称为剩余平方和，反映测量值 y1, y2,, yN
对回归直线的偏离情况，即其他因素引起的 y
的变化在总的离差平方和中所起的作用。
NO.V1.0
• 可认为回归F 效F果0.是101,显N 著 2的 ，称为在0.05 水平上显著，即可信赖程度在95%和99%之 间；如果
NO.V1.0
3.残余方差与残余标准差
•
残余方差定义为
sQ2

Q N
2

1 N
2
N i 1
yi

yˆi 2
•
残余标准差定义为
sQ
Q N 2
• 它表明在单次测量中，sQ 由线性因素以外 的其他因素引起的y的变化程度。 越小，
2
N

（1-29）
式中 i 是M+1个待估计参数，xi是M个可精确测量
的变量，i 是N个互相独立且服从统一正态分布
N0, 的随机变量，这便是多元线性回归的数学
模型。
NO.V1.0
一、多元线性回归方程的一般求法
•
设b0, b1,, bM
分别为参0, 数1,, M
yi
b0
bxi
0
Q
b

2
N i 1
yi
b0
bxi
xi

0
（1-4） （1-5）
NO.V1.0
一元线性回归方程的求法（Ⅲ）
•
由以上两式，经推导整理可得
N
yi
b0

i 1
N
b y bx
N
N
N
xi yi y xi
回归直线的精度越高。
NO.V1.0
例1-3
• 试对例1-2中求出的回归方程进行显著性检 解验：。具体步骤如下
（1）利用 hxy、hxx、hyy、b 求U、Q、S ，则有
S hyy 0.4206483 U bhxy 0.4206476 Q hyy bhxy 0.0000007
N i 1
yi
（1-11）

N
hxx
i1
xi

x
2

N i1
xi2

1 N

N i1
2
xi

N
hyy
i1
yi

y
2

N i1
yi2

1 N

N i1
2
yi

（1-12） （1-13）
NO.V1.0
一元线性回归方程的求法（Ⅳ）
•
N个观测值之间的差异（称离差），
由两个因素引起：一是由变量之间的线性
依赖关测量系值引之起间；的二变是化由程度其可他用因总素离引差起平。方和
表示，记为
N
S yi y2
（1-14）
i 1
N
yi yˆi yˆi y2
i 1
N
N
N
yi yˆi 2 2 yi yˆi yˆi y yˆi y2
y
的线性关S、系U引、Q起 的变化在总的离差平方和
S中所F占检的验的比数重学。统计量为及相应计算如表1-
2。
F

Q
UM
N M
1

U
M 2
如果
F F M , N M 1
则认为所求回归方程在 水平上显著。
精度由剩余标准差 sQ 来估计。
sQ
Q N M 1
NO.V1.0
（3）比较计算得到的F值和查得的 Fa 值。若
F Fa1, N 2则回归效果显著，否则效果不显著。
NO.V1.0
显著性水平等级：
•
通常可分为以下几级：如果
F F 0.01 1, N 2
• 可认为回归效果高度显著，称为在0.01
水 果平上F显0.05著1,，N 即2可 信F 赖F程0.0度11,为N 992% 以上；如
关系是线性y相i, xi关1, xi的2,，, xiM且,i已 1获,2,得, NN组观测数据
•
则有y1 如0 下 结1x11构 形2x12式 M x1M 1
y2 0

yN 0
1x21 2x22 1xN1 2xN
M x2M 2 M xNM
• 例1-1：
施肥量x 15 20 25 30 35 40 45 50
产量y 330 345 365 405 445 450 455 465
NO.V1.0
例1-1：
• 为获得施肥量与产量之间的输入输出关 系，将测的那些实验数据点标在坐标纸上， 如下图示 445
405 365 345 330
20 25 30 35 40 45 50
线性回归分析
• 线性回归分析及应用
NO.V1.0
线性回归分析
• 两个变量之间的关系：
• 1.函数关系－－－确定的关系 • 2.相关关系－－－非确定的关
系 • （1）一个可控制，另一个不可控制
• （2)两个变量都不可控制（随机）
NO.V1.0
线性回归分析
• 3.回归分析
• 回归分析就是通过对一定数量的观测数 据进行统计处理，以找出变量间相互依赖 的统计规律。
（2）计算 vU、vQ、F
vU 1, vQ 8 2 6
F

Q
U1
N 2

3.61106
NO.V1.0
例1-3（Ⅱ）：
• （3）根据vU、vQ 查表
v1 vU 1, v2 vQ 6
• 在 0.01
（4）判别
级表F中0.01查1,6得 13.74
系。
位移
x/mm
0
12
3
4
5
67
输出电 压
y/V
0
0.0 998
9
0.1 998
3
0.29 994
0.4 000
8
0.50 025
0.6 003
6
0.7 003
9
NO.V1.0
例1-2（Ⅰ）：
解：具体步骤如下 1.变量之间大体呈线性关系，设它们满足一元 线性回归方程 令
yˆ b0 bx
xi x（i 即c1 0, d1 1）; yi 10 y（i 即c2 0, d2 10）
2.分别计算xi、yi、xi2、yi2、xiyi 的值，填入表1-1中。 3.对个列数据分别求和，列入表1-1的最后一行。
4.计算 hxx, hyy, hxy
hxx

N i 1
xi2

1 N

N i 1
xi2

42
NO.V1.0
例1-2（Ⅱ）：
hyy
2.回归方程的显著性检验
•
为定量说y明 x 与 的线性密切程度，
通常用F检验法，即计F 算UQ统vvUQ 计量 （1-20）
对一元线性回归，有
F

Q
U1 N
2
计算和检验步骤：
（1-21）
（1）由式（1-21）计算出F值。
（2）根据给定的显著性水平 a 1 P，从F分布表
中查取临界值Fa1, N 2 。
F 3.61106 F 0.01 1,6 13.74
故回归效果高度显著。
（5）求剩余标准差
sQ
Q N
2

0.0000007 6

0.000342
NO.V1.0
1.2 多元线性回归
• 一、多元线性回归方程的一般求法
•
设因变y量 与M个自变x1, x量2,, xM
的
三、每个自变量在多元线性回归中 所起的作用
• 1.自变量xi 作用大小的衡量
•
自变x量i 在总的回归中所起的作用可
根据xi 它在U中的影响大小来衡量。y 把取消一 个自变xi 量 后回归平方和减少的数值称为 对这个自变量 的Pi 偏 U回U归 平方和，记作
hxy

1 d1d2
hxy

4.203240
• 5.计算b、b0
b

hxy hxx

0.100077
; b0

y
bx

0.00017
6.列回归方程 yˆ b0 bx 0.000177 0.100077 x
NO.V1.0
二、回归方程的方差分析和显著性 检验
• 1.回归方程的方差分析
b
i 1 N
i1
i 1
N
xi2 x xi
xi x yi y
N
xi x 2

hxy hxx
i 1
i 1
i 1
式中，hxy

N i 1
xi