当前位置:文档之家› (完整版)一元线性回归直线拟合

(完整版)一元线性回归直线拟合


i 1
(2)
k
由于 Vi2 最小,(2)式对a和b求偏导应为0。
i 1
a
k i1
Vi 2
2
k i1
yi a bxi
0
b
k i1
Vi 2
2
k i 1
yi a bxi
xi 0
整理后得
k
k
yi ka b xi 0
i 1
i 1
k
k
k
xi yi a xi b xi2 0
i 1
b. 回归方程的精密度和相关系数
最小二乘法确定a,b有没有误差?
总结经验公式时,我们初步判断所假定的函数关系是否正确?
为了解决这些问题,就需要讨论回归方程的精度和相关性。为了估计回归方 程的精度,进一步计算数据点(xi ,yi)偏离最佳直线y=a+bx的大小,我们引入 概念—剩余标准偏差,它反映着回归方程与各数据点的拟合程度。
➢ 于是可以运用求极值的原理,将求最好拟合直线问题转换为求
误差平方和最小。
小结:最小二乘法拟合
y=a+bx
若实际校准测试点有n个,则第i 个校设拟准合数直据线与方拟程合:直线上响应 值之间的残差为
y yi
y=a+bx
0
xI
x
最小二乘拟合法
Vi yi yi (a bxi )
最小二乘法拟合直线的原理就是使Vi2为最小值,即
代入(1)式,等式两边并不相等。 等式两端的差值用 V1,V2......Vk 表示,则
V1 y1 (a bx1)
V2 y2 (a bx2 )
…...
Vk yk (a bxk )
按最小二乘法原理,a、b最佳值应满足:
k
k
Vi2 ( yi a bxi )2 min
i 1
y 84.33 0.516 x
如此以来,高的伸进了天,低的缩入了地。他
百思不得其解,同时又发现某人种的平均身高
是相当稳定的。最后得到结论:儿子们的身高 回复于全体男子的平均身高,即“回归”—— 见1889年F.Gallton的论文《普用回归定律》。
后人将此种方法普遍用于寻找变量之间的规律
最小二乘法的地位与作用
测量值 sy 斜率 sb 截距 sa
k
(yi
a
bx i
)2
i1
k2
sy
sy
k(x2
2
x)
L xx
x2 L xx
sy
x2 sb
(1 r2 )Lyy k2
r Lxy Lxx Lyy
L xx
k
x
2 i
i1
1 k
k
(
x
i
)2
i1
Lyy
k
yi2
i1
1 k
k
( yi
i1
)2
相关系数r
定量描述x、y变量之间线性相关程度的好坏(寻找经验公式用)
r
Lxy LxxLyy
,a
y - bx, b
L xy L xx
,sy
(1 r 2 )L y y k2
讨论: (1) r称为相关系数。其值可正可负,一般有 0 r 1
(2)r=0时,
Lxy 0,因Lyy 0,Lxx 0,故b 0,a y,即y a bx y
即y与x无线性关系,说明数据点的分布规律非线性。 r>0,拟合曲线斜率为正,r<0 斜率为负。 (3)r=±1时, Sy=0,即各数据点与最佳直线完全重合, x,y 完全线性相关。 (4) 0<r<1时,各数据点与最佳直线不完全重合。有两种情况:
经验公式的线性回归
在进行经验公式的回归时,必须先确定函数的形式。确定 函数形式一般是根据理论的推断或者从实验数据的变化趋势来 推测判断。
如根据实验得到的一组数据(xi ,yi)(或其在x y坐标上的 数据点)初步判断经验公式为线性关系时,即可用最小二乘法 相关公式求出b, a值,并进而拟合出直线的线性关系式y=a+bx 的回归方程。
2
x
x2
a
x xy y.x2
2
x
x2
y bx
为了计算方便,引入符号:
Lxx
k i 1
( xi
x)2
k i1
x
2 i
1k (
k i1
xi )2
Lyy
k i 1
( yi
y)2
k i1
yi2
1 k
k
(
i1
yi )2
Lxy
k i 1
( xi
x )( yi
y)
k i1
xiyi
1 k
普通物理实验绪论课(下)
授课教师:黄育红 E-mail: huangyh@
课程导入
列表法
作图法 直观、简便。但主观随意性大(粗略)
逐差法 粗略的近似计算方法(自变量等间隔变化, 对一次逐差必须是线性关系,否则先进行 曲线改直)
回归分析法(最小二乘为基础) 最准确的计算方法
一、最小二乘法的历史、地位和作用 二、一元线性回归
a.一元线性回归及最小二乘法的原理
由于实验数据总是存在着误差,所以把各组数据 代入y=a+bx时,两边并不相等,作图时,数据点 也不能准确地落在公式对应的直线上,如图所示, 从中还可看出第i个数据点与直线的偏差为
Vi yi2 xi2
Y
yi * *
* **
*
Vi
x i
*
O
x
a.一元线性回归及最小二乘法的原理
何谓“回归分析”?
若两个变量x和y之间存在一定的关系, 并通过试验获得x和y的一系列数据,用 数学处理的方法得出这两个变量之间的 关系式,这就是回归分析,也称拟合问 题,所得关系式称为经验公式,或称回 归方程、拟合方程。
1、物理量y和x间函数关系已定,拟合函数中的待定常数
2、y和x间函数关系未知,从函数点拟合出经验公式
现在回归分析法已远非道尔顿的本意。
已成为探索变量之间关系最重要的方法, 用以找出变量间关系的具体表现形式。
后来,回归分析法从其方法的数学原 理——误差平方和最小(平方是一个数 的自乘,也叫二乘)出发,改称为最小 二乘法。
一、最小二乘法的历史、地位和作用 二、一元线性回归
a.一元线性回归及最小二乘法的原理 b. 回归方程的精密度和相关系数 c. 回归分析法的运算步骤和实例分析 三、二元线性回归 四、非线性回归
坏值,式中ks为置信限,s为测量列的标准偏差,
k值与测量次数n有关。
剔除步骤:计算测量列的s,按准则判断并剔除坏数据;再计算 剔除坏值后的测量列的s(新),进一步剔除坏值,直至坏值全 部剔除,最后根据剩下的数据计算测量结果和估算误差。
2020年8月9日2时17分
28
总结:相关系数
xy x y
Lxy
[x2 (x)2 ][ y2 ( y)2 ] LxxLyy
工程应用中的问题
例1 在研究单分子化学反应速度时,得到下列数据:
i 12345678
i 3 6 9 12 15 18 21 24
yi 57.6 41.9 31.0 22.7 16.6 12.2 8.9 6.5
其中 表示从实验开始算起的时间,y 表示时刻 反应物的量.试定出经验公式 y f ( ).
** **
*
*
O
x
测量列中坏值的剔除
拉依达准则(3σ准则):以3σ为置信限(概率为99.7%),凡
超过此值的偏差均看作粗差,与之
相应的测量值为坏值,应剔除。 肖维涅准则:此准则规定误差出现的概率小于1/2n时,认为与
此误差对应的测量值为坏值,应剔除。即若测量
列中的测量值x满足 xi x ks 时,则 xi 是一
试根据上面的试验数据建立 y 和 t 之间的经验公 式 y f (t).
例3 某种合金的含铅量百分比(%)为 p,其溶解温度0C
为,由实验测得 p 与 的数据如下表:
p% 36.9 46.7 63.7 77.8 84.0 87.5 0C 181 197 235 270 283 292
试用最小二乘法建立 与 p 之间的经验公式 ap b.
由上述分析可知,Sy的数值表明了线性回归方程的精密 度,或者,形象地说,描绘了回归线的“宽度”。可以
证明,数据点落在y a bx 3Sy 范围内的机会
是99.7%,按照多次直接测量中讨论的相同标准,也可 判别其是否有粗差,要否剔除。(参考p12的3σ准则, 复习见ppt下页)
Y
3Sy
*
* **
儿子们身高向着平均身高“回归”,以保持种族的稳定
185
180
Y
175
170
y
165
x
160 140 150 160 170 180 190 200
X
“回归”一词的由来
从图上虽可看出,个子高的父亲确有生出个子
高的儿子的倾向,同样地,个子低的父亲确有
生出个子低的儿子的倾向。得到的具体规律如
下:
y a bx u
由化学反应速度的理论知道,y f ( ) 应是 指数函数:y kem , 其中 k 和m 是待定常数
例2 为了测定刀具的磨损速度,我们做这样的实验: 经过一定时间(如每隔一小时),测量一次刀具的 厚度,得到一组试验数据如下:
顺序编号i 0 1 2 3 4 5 6 7 时间ti (小时) 0 1 2 3 4 5 6 7 刀具厚度 yi(毫米) 27.0 26.8 26.5 26.3 26.1 25.7 25.3 24.3
k
(
i1
k
xi )(
i1
yi )
b Lxy L xx
相关主题