9.2 回归分析
线性回归模型的一般形式为：
y x x ... x 0 1 1 2 2 k k

其中，0和i（i = 1，2，…，k）是未知常数，称为 回归系数，实际中常假定 ～N(0，2)．
一元线性回归模型的一般形式为：
y x , 0 1
2 ~N （ 0 ， ）
由 ～N(0，2)的假定，容易推出y ～N(0 + 1x, 2)
9.2 回归分析
本章主要讨论一元线性回归分析和可化为线性回 归的一元非线性回归分析． 它们是反映两个变量之间关系的简单模型，但从 中可以了解到回归分析的基本思想、方法和应用．
9.2 回归分析
9.2.1 一元线性回归分析
达到最小的 ˆ 0 和 ˆ1 ．即解方程：
Q ( 0 , 1 ) 0 0 , Q ( , ) 0 1 0 1
n yi 0 1 xi 0 i 1 或 (9.6) n yi 0 1 xi xi 0 i1
试根据这些数据进行合金钢的强度y(单位：107Pa)
9.2.1 一元线性回归分析
为了研究这些数据中所蕴含的规律性，首先在 Excel中由12对数据作出散点图，如图9.7所示．
从图看到，数据点大致落在一条直线附近，这告诉 我们变量x和y之间大致可看作线性关系．从图中还看 到，这些点又不完全在一条直线上，这表明x和y的关 系并没有确切到给定x就可以唯一确定y的程度．
达到最小的 ˆ 0 和 ˆ1 ，分别作为0，1的估计，并称 ˆ 0
和 ˆ1 为0和1的最小二乘估计．
i 1
9.2.1 一元线性回归分析
1．参数0和1的最小二乘估计
通常可采用微积分中求极值的办法，求出使
2 Q ( , ) [ y ( x )] 0 1 i 0 1i i 1 n
我们用一个例子来说明如何进行一元线性回归分 析 为了研究合金钢的强度和合金中含碳量的关系， 专业人员收集了 12 1 2 3 4 组数据如表 5 6 7 9.1所示． 8 9 10 11 12 序号
含 碳 量 0.10 x(%) 合 金 钢 42.0 的强度 y(107Pa) 0.11 0.12 43.0 45.0 0.13 0.14 0.15 45.0 45.0 47.5 0.16 0.17 0.18 49.0 53.0 50.0 0.20 55.0 0.21 0.23 55.0 60.0
9.2.1 一元线性回归分析
事实上，还有许多其它随机因素对y产生影响．
如果只研究x和y的关系，可以考虑建立一元线性回 归模型：
y x , 0 1
2 ~N （ 0 ， ）
(9.1)
其中ε是除含碳量x外其它诸多随机因素对合金钢强度 y的综合影响，假定它是零均值的正态随机变量．
设对模型 (9.1)中的变量 x ， y进行了 n次独立观察， 得样本(xi，yi) (i = 1，2，…，n)．由(9.3)式知随机 误差i = yi – (0 + 1xi)． 最小二乘法的思想是：由 xi ， yi 估计 0 ， 1 时，使 误差平方和
2 Q ( , ) [ y ( x )] 0 1 i 0 1i n
y x i 0 1 i i
(9.3)
来描述．这里 εi是第 i 次观测时 ε 的值，它是不能观测 到的．
9.2.1 一元线性回归分析
由于各次观测独立， εi 看作是相互独立与 ε 同分布的 随机变量．即有 yi = 0 + 1xi + i，i相互独立，且
i ～N(0，2)， i = 1，2，…，n (9.4) (9.4)给出了样本(x1，y1)，(x2，y2)，…，(xn，yn)的概 率性质．它是对理论模型进行统计推断的依据，也 常称(9.4)式为一元线性回归模型．
9.2.1 一元线性回归分析
要建立一元线性回归模型，首先利用n组独立观测 数据(x1，y1)，(x2，y2)，…，(xn，yn)来估计0和1， 以估计值ˆ 0 和 ˆ1分别代替(9.2)式中的0和1，得到
ˆ ˆx ˆ y 0 1
(9.5)
由于此方程的建立有赖于通过观察或试验积累的数 据，所以称其为经验回归方程（或经验公式） 经验回归方程也简称为回归方程，其图形称为回 归直线．
概率论与数 理统计(回归 分析)
9.2 回归分析
如果设随机变量 y是因变量，x1，x2，…，xn是影 响y的自变量，回归模型的一般形式为： y = f (x1，x2，…，xn) + ε
其 中 ε 为 均 值 为 0 的 正 态 随 机 变 量 ， 它 表 示 除 x1 ， x2，…，xn之外的随机因素对y的影响． 在回归分析中，当只有一个自变量时，称为一元 回归分析；当自变量有两个或两个以上时，称为多 元回归分析； f 是线性函数时，称线性回归分析，所 建回归模型称为线性回归模型； f 是非线性函数时， 称非线性回归分析，所建回归模型称为非线性回归 模型．
ˆ ˆ x为拟合值（预测值 ˆ 当给定x = x0时，称 y 0 0 1 0 或回归值）．
9.2.1 一元线性回归分析
那么，如何利用n组独立观察数据来估计0和1呢？
一般常用最小二乘估计法和最大似然估计法
下面只介绍0和1的最小二乘估计法．
9.2.1 一元线性回归分析
1．参数0和1的最小二乘估计
9.2.1 一元线性回归分析
y x , 0 1
2 ~N （ 0 ， ）
(9.1) (9.2)
由(9.1)式，不难算得y的数学期望:
E ( y ) x地算出 E(y) ．称方程 (9.2)为y关于x的回归方程． 现对变量 x, y 进行了 n 次独立观察，得样本 (xi ， yi) (i = 1，2，…，n)．据(9.1)式，此样本可由方程