经验回归直线： Yˆi ˆ0 ˆ1Xi 其中： Yˆi 为Yi的估计值（拟合值）； ˆ0, ˆ1 为 0 , 1 的估计值；
如果观测值到这条直线的纵向距离（真实值与估计值的偏差）用ei
表示（称为残差），则经验回归模型为：
Yi ˆ0 ˆ1Xi ei
（ei为εi的估计值）
注意：分清4个式子的关系 （1）理论（真实的）回归模型：
ˆ 令 ki
(Xi X) (Xi X )2
xi xi2
代入上式，得：
1
kiYi
同理可证：0也具有线性特性 。
2、无偏性
ki Βιβλιοθήκη (Xi - X) (Xi - X )2
xi xi2
证明： E(ˆ1) = E( kiYi ) = E [ki (0 1Xi i ] = 0E[ ki 1 ki Xi kii ] = 1E [ki (Xi X )] E (kiui )
i 1
二、OLS回归直线的性质
（1）估计的回归直线 Yˆi ˆ0 ˆ1Xi 过点 ( X ,Y ) .
（2）
ei 0 ei X i 0
（3） Yi 的拟合值的平均数等于其样本观测值的平均数 Yˆ Y .
Yˆ
1 n
n
Yˆi
i 1
=
1 n
n i 1
(ˆ0
ˆ1 X i
)
= ˆ0 ˆ1X = Y
前三个条件称为G-M条件
§1.2 一元线性回归模型的参数估计
普通最小二乘法（Ordinary Least Squares） OLS回归直线的性质 OLSE的性质
一、普通最小二乘法
对于所研究的问题，通常真实的回归直线 E(Yi|Xi) = 0 + 1Xi 是观
测不到的。可以通过收集样本来对真实的回归直线做出估计。
Y
55
80 100 120140 160
X
二、随机误差项εi的假定条件
为了估计总体回归模型中的参数，需对随机误差项作出如下假定：
假定1：零期望假定：E(εi) = 0。 假定2：同方差性假定：Var(εi) = 2。 假定3：无序列相关假定：Cov(εi, εj) = 0, (i j )。 假定4： εi 服从正态分布，即εi N (0, 2 )。
Q
ˆ 0
n
= 2 (Yi ˆ0 ˆ1X i )(1)
i 1
=0
即
Q
ˆ1
=
n
2 (Yi ˆ0 ˆ1X i )( X i ) = 0 i 1
ei 0 ei X i 0
根据以上两个偏导方程得以下正规方程 （Normal equation） ：
Yi nˆ0 ˆ1 Xi
Yi Xi ˆ0
回归分析
确定性关系或函数关系y =f (x)
变 量 间 的 关 系
非 确 定 性 关 系
人的身高和体重
x
家庭的收入和消费
商品的广告费和销售额
粮食的施肥量和产量
Y
相关关系
称这种非确定性关系为统计关系或相关(相依)关系.
第一章 一元线性回归模型
以下设 x 为自变量(普通变量) Y 为因变量(随机变 量) .现给定 x 的 n 个值 x1,…, xn, 观察 Y 得到相应的 n 个 值 y1,…,yn, (xi ,yi) i=1,2,…, n 称为样本点.
Xi ˆ1
X
2 i
ˆ1
(Xi X )(Yi Y ) (Xi X )2
ˆ0 Y ˆ1X
其中, X 和Y 分别为X、Y的均值
若记
则
n
Lxx ( Xi X )2 i 1 n
ˆ0 Y ˆ1X
Lyy (Yi Y )2
i 1
n
Lxy ( Xi X ) (Yi Y )
ˆ1
Lxy Lxx
和）
n
Q =
ei 2 =
i 1
n
(Yi Yˆi )2
i 1
=
n
( Yi ˆ 0 ˆ1X i )2
i 1
则通过Q最小确定这条直线，即确定 ˆ0, ˆ1 ，以 ˆ0, ˆ1 为变量，
把它们看作是Q的函数，就变成了一个求极值的问题，可以通过求
导数得到。 求Q对 两个待估参数 的偏导数：
正规方程组
－ 6
750
200
120 136 140 144 145
－ － 5
685
220
135 137 140 152 157 160 162
7 104
3
240
137 145 155 165 175 189
－ 6
966
260
150 152 175 178 180 185 191
5 121
1
描出散点图发现：随着收入的增加，消费“平均地说”也在增加，且Y 的条件均值均落在一根正斜率的直线上。这条直线称为总体回归线。
55 65
60 70
65 74
70 80
75 85
－ 88
－－
户数
56
总支出 325 462
120
79 84 90 94 98 － － 5
445
140
80 93 95 103 108 113 115 7
707
160
102 107 110 116 118 125
－ 6
678
180
110 115 120 130 135 140
Yi 0 1Xi i
（2）理论（真实的）回归直线：
E( Y | X i ) 0 1X i
（3）经验（估计的）回归模型：
Yi ˆ0 ˆ1Xi ei
（4）经验（估计的）回归直线：
Yˆi ˆ0 ˆ1Xi
对于参数的估计采用最小二乘估计法、最小二乘法的原则是以
“残差平方和最小” 确定直线位置（即估计参数）。（Q为残差平方
理论回归模型：
Yi = 0 + 1 Xi + εi
其中： Yi——被解释变量； Xi——解释变量；
ε I ——随机误差项； 0，1—回归系数
随机变量ε i包含：
回归模型中省略的变量; 确定数学模型的误差； 测量误差
假设调查了某社区所有居民，他们的人均可支 配收入和消费支出数据如下：
X 80 100 Y
三、OLSE回归直线的性质
统计性质
线性 无偏性 有效性
2 的估计
1、线性 这里指 ˆ0, ˆ1 都是Yi的线性函数。
证明： ˆ1 =
( Xi X )(Yi Y ) (Xi X )2
(Xi X )Yi Y (Xi X )
=
(Xi X )2
=
( Xi X )Yi (Xi X )2
以 (xi ,yi) 为坐标在平面直角坐标系中描点,所得到 的这张图便称之为散点图.
Y:人均食品支出
北京市城市居民家庭生活抽样调查图表
10 8 6 4 2 0 0 2 4 6 8 10 12 14 16 18
x:人均生活费收入
§1.1 模型的建立及其假定条件
一、一元线性回归模型
例如：研究某市可支配收入X对人均消费支出Y 的影响。建立如下