直线回归法的公式推导
1.按公式法推导a,b计算公式的过程 Σe2=Σ[y –(a+bx)] 2 = Σ[y 2–2 y (a+bx)+ (a+bx) 2 ] = Σ[y 2–2ay –2bxy+a2 +2abx+ b2x2 ] =Σy2–2aΣy–2bΣxy+na2+2abΣx+b2Σx2 令: Σy 2–2aΣy –2 bΣxy+na2 +2abΣx+ b2 Σx2=0 对上式求a的偏导数,得: –2Σy +2na +2bΣx=0 整理得 Σy =na +bΣx (1)式
可以同时计 算出a和b
∵Σy = na+bΣx ∴a = Σy-bΣx n
必须先计 算出b, 然后才能 计算 a
3.用简捷法来建立方程 上述联立方程也可以不用求偏导数的方 法来建立,可利用一种所谓简捷法来实现。 ∵ y=a+bx
∴ Σy = Σ(a+bx)=na+bΣx 又∵ xy=x(a+bx)=ax+b x2 ∴ Σxy= Σ(ax+b x2 )=aΣx+bΣx2 (2)式 (1)式
谢谢!
2.用行列式求二元一次方程组中a和b的解
因为下列联立方程中,未知数为a和b, Σy,Σxy 为已知常数, n,Σx和Σx2分别为a 和b的系数,则有
常数列 Σy = na Σxy = aΣx + bΣx + bΣx2
用行列式的方法解法如下:
2.用行列式求二元一次方程组中a和b的解
Δ=
Δa=
n
Σx Σx2
Σx
= n Σx2-(Σx) 2
Σy Σx Σxy Σx2 n Σy = ΣyΣx2-Σx Σxy
Δb=
Σx Σxy
Hale Waihona Puke = nΣxy-Σx Σy2.用行列式求二元一次方程组中a和b的解
Δa a= Δ Δb b= Δ
ΣyΣx2-Σx Σxy = n Σx2-(Σx) 2 = nΣxy-Σx Σy n Σx2-(Σx) 2
直线回归法的原理 及推导公式
主要内容
一
回归直线法的原理
二
回归直线的公式推导
一、直线回归法的原理
直线回归发的原理——微积分极值原理
y 成本(元)
y=a+bx
0
x
业务量(件)
二、直线回归法公式推导
从散布图法可以看出,我们总能设法 找到一条尽可能通过所有坐标点,也就是 所有误差最小的惟一直线y=a+bx 。 设ei为当业务量为xi时,实际值(又 称观测值)yi与计算值(a+bxi)的误差, 即 ei = yi – (a+bxi)
1.按公式法推导a,b计算公式的过程 对Σy2–2aΣy–2bΣxy+na2+2abΣx+b2 Σx2=0 求b的偏导数,得: –2Σxy +2aΣx+ 2bΣx2 =0 整理得 Σxy = aΣx+ bΣx2 (2)式 解联立方程,即可求出a,b的值。 Σy =na +bΣx Σxy = aΣx+ bΣx2
所有误差的代数和是否最小示意图?
y 成本(元)
满足Σei =0的条件 满足Σei =0的条件
0
x 业务量(件)
二、直线回归法公式推导
第二,判断所有误差绝对值的合计是 否最小。即:Σ│ei │ =0 但上式展开后,涉及到绝对数运算, 非常麻烦: Σ│ei │ = ± e1±e2 ± e3 ±…± en-1 ± en 因而也无法据此作出判断。
二、直线回归法公式推导
第三,判断所有误差平方和是否最小。 即:Σei2 =0 这种方法既排除了正负误差的符号问 题,又避免了绝对值运算的麻烦。 因此,可以根据误差的平方和是否达 到最小,来判断直线方程y=a+bx的总误差 是否达到最小。 此法又称最小二乘法或最小平方法。
二、直线回归法公式推导
根据上述道理,回归直线法就是求能 使Σei2 =0成立的回归系数a和b的值。 因为 ei = yi –(a+bxi) 所以 Σei2 = Σ[yi –(a+bxi)] 2 按照微分极值原理,令上式=0,并分 别对a和b求偏导数,就可以求出能满足 Σei2 达到极小值的a和b。 按照此法推导的a,b计算公式,称为 公式法。
二、直线回归法公式推导
怎样判断一条直线方程就是我们所要 找的所有误差最小的那条直线y=a+bx 呢? 可以考虑的办法有三: 第一,判断所有误差的代数和是否最 小。即: Σei =0 但由于误差有正有负,可能相互抵消, 会存在无数满足上述条件的直线,因而无 法据此作出最终判断。
二、直线回归法公式推导