当前位置:文档之家› 概率论与数理统计(回归分析)

概率论与数理统计(回归分析)

试根据这些数据进行合金钢的强度y(单位:107Pa)
9.2.1 一元线性回归分析 为了研究这些数据中所蕴含的规律性,首先在
Excel中由12对数据作出散点图,如图9.7所示.
从图看到,数据点大致落在一条直线附近,这告诉我
们变量x和y之间大致可看作线性关系.从图中还看 到,这些点又不完全在一条直线上,这表明x和y的 关系并没有确切到给定x就可以唯一确定y的程度.
经验回归方程也简称yˆ0为回ˆ0归ˆ方1x0程,其图形称为回 归直线.
当给定x = x0时,称
为拟合值(预
9.2.1 一元线性回归分析
那么,如何利用n组独立观察数据来估计0和1呢?
一般常用最小二乘估计法和最大似然估计法
下面只介绍0和1的最小二乘估计法.
9.2.1 一元线性回归分析
1.参数0和1的最小二乘估计
9.2.1 一元线性回归分析
事实上,还有许多其它随机因素对y产生影响.
如果只研究x和y的关系,可以考虑建立一元线性
回归模型:
y01x, ~N(0,2)
(9.1)
其中ε是除含碳量x外其它诸多随机因素对合金钢强
度y的综合影响,假定它是零均值的正态随机变量.
9.2.1 一元线性回归分析
y01x, ~N(0,2)
和 ˆ1 为0和1的最小二乘估计.
9.2.1 一元线性回归分析
1.参数0和1的最小二乘估计
通常可采用微积分中求极值的办法,求出使
n
Q (0,1) [yi(01xi)2] i1
达到最小的 ˆ 0 和ˆ1 .即解方程:
Q Q
( 0 ,
0 ( 0 ,
1) 1)
0 , 0
1
n
回归分析;f是线性函数时,称线性回归分析,所建 回归模型称为线性回归模型;f是非线性函数时,称
非线性回归分析,所建回归模型称为非线性回归模 型.
9.2 回归分析
线性回归模型的一般形式为:
y 0 1 x 1 2 x 2 . .. k x k
其中,0和i(i = 1,2,…,k)是未知常数,称 为回归系数,实际中常假定 ~N(0,2).
设对模型(9.1)中的变量x,y进行了n次独立观察, 得样本(xi,yi) (i = 1,2,…,n).由(9.3)式知随 机误差i = yi – (0 + 1xi).
最小二乘法的思想是:由xi,yi估计0,1时,使
误差平方和
n
Q (0,1) [yi(01xi)2] i1
达到最小的 ˆ 0 和ˆ1 ,分别作为0,1的估计,并称ˆ 0
第9章 相关分析与一元回归分析
9.2 回归分析
回归分析是针对两个或两个以上具有相关关系 的变量,研究它们的数量伴随关系,并通过一定的数 学表达式将这种关系描述出来,建立回归模型.
回归分析中总假设因变量是随机变量,自变量可 以是随机变量也可以是一般变量(可以控制或精确测 量的变量)
我们只讨论自变量为一般变量的情况. 为简单起见,以后的所有随机变量及其观测值均 用小写字母表示.
9.2 回归分析
如果设随机变量y是因变量,x1,x2,…,xn是 影响y的自变量,回归模型的一般形式为:
y ε 其中ε为均值为 0的正态随机变量,它表示除x1, x2,…,xn之外的随机因素对y的影响.
在回归分析中,当只有一个自变量时,称为一元 回归分析;当自变量有两个或两个以上时,称为多元
9.2.1 一元线性回归分析
要建立一元线性回归模型,首先利用n组独立观
测数据(x1,y1),(x2,y2),…,(xn,yn)来估计0
和1,以估ˆ 0 计值ˆ1 和 分别代替(9.2)式中的0和1,
得到
yˆˆ0ˆ1x
(9.5)
由于此方程的建立有赖于通过观察或试验积累的数据, 所以称其为经验回归方程(或经验公式)
一元线性回归模型的一般形式为:
y01x, ~N(0,2)
由 ~N(0,2)的假定,容易推出y ~N(0 + 1x,
2)
9.2 回归分析
本章主要讨论一元线性回归分析和可化为线性回 归的一元非线性回归分析.
它们是反映两个变量之间关系的简单模型,但从 中可以了解到回归分析的基本思想、方法和应用.
9.2 回归分析
9.2.1 一元线性回归分析
我们用一个例子来说明如何进行一元线性回归分 析
为了研究合金钢的强度和合金中含碳量的关系, 序号专业1人员2收集3 了142组5数据6 如表7 9.18 所示9 . 10 11 12
含 碳 量 0.10 0.11 0.12 0.13 0.14 0.15 0.16 0.17 0.18 0.20 0.21 0.23 x(%) 合 金 钢 42.0 43.0 45.0 45.0 45.0 47.5 49.0 53.0 50.0 55.0 55.0 60.0 的强度 y(107Pa)
由(9.1)式,不难算得y的数学期望:
(9.1)
E(y)01x
(9.2)
该式表示当x已知时,可以精确地算出E(y).称方程 (9.2)为y关于x的回归方程.
现对变量x, y进行了n次独立观察,得样本(xi,yi) (i = 1,2,…,ny)i.据0(91.x 1i)式i,此样本可由方程
(9.3)
9.2.1 一元线性回归分析
由于各次观测独立,εi看作是相互独立与ε同分布的
随机变量.即有
yi = 0 + 1xi + i,i相互独立,且
i ~N(0,2), i = 1,2,…,n
(9.4)
(9.4)给出了样本(x1,y1),(x2,y2),…,(xn,yn)
的概率性质.它是对理论模型进行统计推断的依据,
也常称(9.4)式为一元线性回归模型.
称(9.6)或(9.7)为正则方程.
(9.6) (9.7)
9.2.1 一元线性回归分析
1.参数0和1的最小二乘估计
解正则方程得 (9.8)
ˆ0
y
n
ˆ1 x
ˆ1
( xi x)( yi
i 1
n
( xi x)2
i 1 n
yi
0 1xi
0

i1
yi
0
1 xi
xi
0
(9.6)
9.2.1 一元线性回归分析
1.参数0和1的最小二乘估计
即解方程:
n
i 1 n
yi
0 1xi
0
i1
yi
0 1xi
xi 0

n
n
n0 1 xi yi
i1
i1
n
n
n
0 i1 xi 1 i1 xi2 i1 yi xi
相关主题