9.1 回归分析的基本概念
• 9.1.1 因变量(Y)与自变量(X)之间的关系 根据因变量与自变量之间的关系不同，可以分为两种类型：
函数关系
统计关系
9.1.1 因变量(Y)与自变量(X)之间的关系
1.函数关系
即对两个变量X，Y来说，当X值 确定后，Y值按照一定的规律唯一确定， 即形成一种精确的关系。
b1 CiYi i1
i1
表明b1是Yi 的线性组合
9.2.5 最小二乘估计量b0,b1的特性
同理，可得
n
b0 kiYi i 1
ki
1 n
Ci
X
b0是Yi线 性组合
9.2.5 最小二乘估计量b0,b1的特性
(2) 无偏性
可以证明b0和b1分别是β0 和β1的无偏估计
引例分析
n
b1
n
线性 (预测 Y)
70
60
50
40
30
20
观测点散布在统计关系直线周围，此 种情况说明Y的变化除了受自变量X 影响以外，还受其他因素的影响。
因此试图建立这样一个回归模型，通过对此模型 所作的一些假设，可以体现出上述统计关系所刻划的特征。
9.2.2 一元线性回归模型假设
根据统计关系特征，可以进行下述假设：
(1)对于自变量的每一水平X，存在着Y的一个概率分布；
引例分析
真实值与预测值的差就是回 归直线在每个给定点上的误 差，我们称之为残差（resid ual）。
从几何上讲，残差是回归直 线到样本数据点之间的垂直 距离，确定斜率和截距的方 程使回归直线位于样本点之 间。这样，从回归直线到样 本点之间的垂直距离相互抵 消，使总和为0。
y值与预测值
Y
预测 Y
80
图9-4 回归方程原理图
9.2.4 一元线性回归方程
n
2
令Q [Yi (b0b1Xi)]
i1
Q达到最小值 b0和b1称为最小二乘估计量
微积分中极值 的必要条件
bQ0 2i n1[Yi (b0b1Xi)]
bQ 12in1[Yi (b0b1Xi)X ]i
令偏导数为0
n
n
nb0 b1 Xi Yi
9.1.2 回归分析
回归分析(Regression Analysis)
就是应用统计方法，对大量的观测数据进行整 理、分析和研究，从而得出反映事物内部规律 性的一些结论。
9.2 一元线性回归模型
• 9.2.1 统计关系的特征
统计关系 特征
因变量Y随自变量X有规律的变化， 而统计关系直线描述了这一变化的 趋势。
➢回归分析适合研究哪类问题? ➢回归方程的显著性检验适合什么情况? ➢回归系数的显著性检验适合什么情况?
• 例 设有10个厂家的投入和产出如下，根据这些 数据，我们可以认为投入和产出之间存在相关性 吗？
厂家 1
2
3
4
56
7
8
9
10
投入 20 40 20 30 10 10 20 20 20 30
产出 30 60 40 60 30 40 40 50 30 70
i1
i1
n
n
n
b0 Xi b1 Xi2 XiYi
i1
i1
i1
解方程
9.2.4 一元线性回归方程
n
( X i X )( Y i Y )
b1 i1 n
(X i X )2
i1
n
(
X iY i
i1
X i )( n
Yi)
n
X
2 i
(
i1
X i)2 n
(9-5)
b0 Yb1X
假设
(2)这些Y的概率分布的均值，有规律的随X变化而变化
9.2.3 一元线性回归模型
Y与X具有统计 关系而且是线性
建立 回归模型
Yi=β0+β1Xi+εi (i=1,2,···,n)
பைடு நூலகம்
其中，(X i,Yj)表示(X,Y)的第i个观测值，β0 , β1为参
数，β0+β1Xi为反映统计关系直线的分量，ε i为 反映在统计关系直线周围散布的随机分量ε i～N
9.2.4 一元线性回归方程
Yi=β0+β1Xi+εi β0和β1均未知
根据样本数据
对β0和β1
进行估计
β0和β1的估计
值为b0和b1
建立一元线性回归方程
Yˆ b0 b1X
9.2.4 一元线性回归方程
一般而言，所求的b0和b1应能使每个样本观测点(X i,Y i) 与回归直线之间的偏差尽可能小，即使观察值与拟 合值的误差平方和Q达到最小。
预测值 42.6316 66.3156 42.6316 54.4736 30.7896 30.7896 42.6316 42.6316 42.6316 54.4736
残差 -12.6316 -6.3156 -2.6316 5.5264 -0.7896 9.2104 -2.6316 7.3684 -12.6316 15.5264 0 .0 0 0 0
xiyi xi2
xi
yi
2
1.1842
xi
b 0y b 1 xn y i b 1
x i 1 8 .9 4 7 6 n
故回归方程为：
$ y18.94761.1842x
引例分析
厂家 1 2 3 4 5 6 7 8 9 10
投入(x) 20 40 20 30 10 10 20 20 20 30
产出(y) 30 60 40 60 30 40 40 50 30 70
(9-6)
9.2.5 最小二乘估计量b0,b1的特性
b0,b1的特性
线性 无偏性
9.2.5 最小二乘估计量b0,b1的特性
(1) 线性特性 由（9-5）得
n
n
(Xi X)(Yi Y) (Xi X)Yi
b1i1 n
(Xi
X)2
i1
n
(Xi
X)2
i1
i1
令
Ci n Xi X
(Xi X )2
则
n
例：某商品的销售额y与销售量x之间的关 系可表示为y=px(p是单价)，圆的面积可 表示为s=piR^2
9.1.1 因变量(Y)与自变量(X)之间的关系
2.统计关系
即当X值确定后，Y值不是唯一确定的， 但大量统计资料表明，这些变量之间还 是存在着某种客观的联系。
9.1.2 回归分析
在直角坐标平面上，标出了10个观测点的 坐标位置，他们表示以家庭为单位，某种 商品年需求量与该商品价格之间的10对 调查数据
(0,σ2)。
9.2.3 一元线性回归模型
对于任意Xi值有： ⑴ Yi服从正态分布
⑵E(Yi)=β0+β1Xi；
⑶2(Yi)2
⑷各Yi间相互独立 Yi～N(β0+β1Xi,σ2) 。
9.2.3 一元线性回归模型
图9-2
9.2.4 一元线性回归方程
Y与X之间 为线性关系
最小二乘法
选出一条最能反 映Y与X之间关系 规律的直线