i=1,2, …,n
一元线性回归模型的基本假设
假设4、随机误差项 ? 服从零均值、同方差、零
协方差的正态分布
? i ~ N(0,? 2 )
i=1,2, …,n
假设5：随着样本容量的无限增加，解释变量 X
的样本方差趋于一有限常数。即
? (Xi ? X)2 / n ? Q,
n? ?
假设6：回归模型是正确设定的
该样本的散点图（scatter diagram) ：
由于样本取自总体，可用该线近似地代表总 体回归线。该线称为 样本回归线。
样本回归函数
记样本回归线的函数形式为：
Y?i ? f ( Xi ) ? ??0 ? ??1 Xi
注意：与总体回归函数进行比较。
样本回归函数
同样地，样本回归函数也有如下的随机形式：
1
1
最小。
参数的最小二乘估计
根据微分运算，可推得用于估计 ??0 、??1 的下列 方程组：
方程组（ *）称为正规方程组 （normal equations ）。
参数的最小二乘估计
上述参数估计量可以写成： ?
? ?
??1
?
? xi yi ? xi2
?? ??0 ? Y ? ??1 X
称为OLS估计量的 离差形式（deviation form ）。
最小二乘估计量的性质
1、线性性 即估计量 ??0 、??1 是 Yi 的线性组合。
最小二乘估计量的性质
2、无偏性 即估计量 ??0 、??1 的均值（期望）等于
总体回归参数真值 ? 0与 ? 1 。
? ? E(??1 ) ? E(? 1 ? ki ? i ) ? ? 1 ? ki E(? i ) ? ? 1
回归分析概念
变量间的相关形式，有 线性相关和非线性相关 。
变量间线性相关程度 可用相关系数来测度：
? XY ?
Cov( X , Y) Var (X)Var (Y)
如果给出 X与Y的一组样本，则样本相关系数为：
n
? ( Xi ? X)(Yi ? Y)
rXY ?
i?1 n
n
? ? ( Xi ? X)2
? ? E(??0 ) ? E(? 0 ? wi ? i ) ? E(? 0 ) ? wi E(? i ) ? ? 0
3、有效性 （最小方差性）即在所有线性无偏估计 量中，最小二乘估计量 ??0、??1 具有最小方差。
参数估计量的概普通最小二乘估计量 ??0 、??1 分别是
将居民消费支出看成是其可支配收入的线性函
数时:
E(Y | Xi ) ? ? 0 ? ? 1 Xi
称为线性总体回归函数。 其中，?0，?1是未知参
数，称为 回归系数。
随机干扰项
随机干扰项
总体回归函数说明在给定的收入水平 Xi下，该社 区家庭平均的消费支出水平。但对某一个别的家庭，
其消费支出可能与该平均水平有偏差。
从该样本估计总体回归函数 PRF？
表2.1.3 家庭消费支出与可支配收入的一个随机样本 Y 800 1100 1400 1700 2000 2300 2600 2900 3200 3500 X 594 638 1122 1155 1408 1595 1969 2078 2585 2530
样本回归函数
差ei出发，对总体方差进行估计。
可以证明， ? 2的最小二乘估计量 为
? ??2 ?
ei2
n? 2
它是关于 ? 2的无偏估计量。
居民人均消费支出与人均GDP回归
§2.3 一元线性回归模型统计检验
? 一、拟合优度检验 ? 二、变量的显著性检验 ? 三、参数的置信区间
拟合优度检验
拟合优度检验：检验模型对样本观测值的 拟合程度。
度量拟合优度的指标： 判定系数（可决系 数） R2
1、总离差平方和的分解
已知由一组样本观测值（ Xi,Yi），i=1,2…,n 得到如下样本回归直线
Y?i ? ??0 ? ??1 Xi
而Y的第i个观测值与样本均值的离差 yi ? Yi ? Y 可分解为两部分之和。
拟合优度检验
yi ? Yi ? Y ? (Yi ? Y?i ) ? (Y?i ? Y) ? ei ? y?i
拟合优度检验
TSS=ESS+RSS
Y的观测值围绕其均值的 总离差可分解为两部 分：一部分来自回归线 (ESS)，另一部分则来自随机 势力(RSS)。在给定样本中， TSS不变，如果实际观 测点离样本回归线越近，则 ESS在TSS中占的比重 越大，因此
可决系数 R2 ? ESS ? 1 ? RSS
TSS
最小二乘估计量的性质
最小二乘估计量的性质
（1）线性性， 即它是否是另一随机变量的线性 函数；
（2）无偏性， 即它的均值或期望值是否等于总 体的真实值；
（3）有效性， 即它是否在所有线性无偏估计量中具 有最小方差。
这三个准则也称作估计量的 小样本性质。 拥有这类性质的估计量称为 最佳线性无偏估计量 （best liner unbiased estimator, BLUE ）。
? ? ? yi2 ? ei2 ? y?i2
拟合优度检验
对于所有样本点，则需考虑这些点与样本均值离 差的平方和 ,可以证明：
? ? ? yi2 ? ei2 ? y?i2
记
? 总体平方和 TSS ? y?i2 ? 回归平方和 ESS ? y?i2 TSS=ESS+RSS
? 残差平方和 RSS ? ei2
记
? i ? Yi ? E(Y | Xi )
称? i为观察值Yi围绕它的期望值 E(Y|Xi)的离差,是一
个不可观测的随机变量 ，又称为随机干扰项 或随机
误差项 。
随机干扰项
例2.1：个别家庭的消费支出为：
(*)
即，给定收入水平 Xi ,个别家庭的支出可表示为两 部分之和 :
（1）该收入水平下所有家庭的平均消费支出 E(Y|Xi)，称为系统性或确定性部分 ，
第二章 一元线性回归模型
?§ 2.1 回归分析概述 ?§ 2.2 一元线性回归模型的参数估计 ?§ 2.3 一元线性回归模型检验 ?§ 2.4 一元线性回归模型预测 ?§ 2.5 实例
§2.1 回归分析概述
一、回归分析的基本概念 二、总体回归函数 三、随机扰动项 四、样本回归函数（ SRF）
回归分析概念
1078 1254 1496 1683 1925 1122 1298 1496 1716 1969 1155 1331 1562 1749 2013 1188 1364 1573 1771 2035 1210 1408 1606 1804 2101
1430 1650 1870 2112 1485 1716 1947 2200
样本回归函数
注意：这里PRF可能永远无法知道。
§2.2 一元线性回归模型的参数估计
一、一元线性回归模型的基本假设 二、参数的普通最小二乘估计（ OLS） 三、参数估计的最大似然法 (ML) 四、最小二乘估计量的性质 五、参数估计量的概率分布及随机干
扰项方差的估计
一元线性回归模型的基本假设
一元线性回归模型： 只有一个解释变量
Y （元）
500
0
500
1000
1500 2000 2500 3000 3500 每月可支配收入 X（元）
4000
总体回归函数
在给定解释变量 Xi条件下被解释变量 Yi的期望 轨迹称为 总体回归线 ,或更一般地称为 总体回归曲 线,相应的总体回归函数为： E(Y | Xi ) ? f (Xi )
函数形式： 可以是线性或非线性的。
假设 2、随机误差项 ? 具有零均值、同方差和不序列 相关性：
E( ? i)=0 Var ( ? i)=? ?2 Cov( ? i, ? j)=0
i=1,2, …,n i=1,2, …,n i ≠j i,j= 1,2, …,n
假设3、随机误差项 ? 与解释变量 X之间不相关：
Cov( Xi , ? i ) ? 0
3500 2299 2321 2530 2629 2860 2871
15510
总体回归函数
描出散点图发现：随着收入的增加，消费 “平均地说”也在增加，且 Y的条件均值均落在 一根正斜率的直线上。这条直线称为 总体回归线 。
3500
3000 每 月 2500
消 2000 费 支 1500
出 1000
合，因此，??0 和 ??1 的概率分布取决于
Yi 的线性组
Y的分布特征
。
在 ?是正态分布的假设下， Y是正态分布，则
??0、 ??1 也服从正态分布，因此：
? ??1 ~ N(? 1,
?2
xi2 )
?? ??0 ~ N(? 0 , n
X
2 i
?
2)
xi2
随机扰动项方差估计
由于随机项 ? i不可观测，只能从 ? i的估计——残
Yi ? ? 0 ? ? 1 Xi ? ? i
i=1,2,…,n
Y为被解释变量， X为解释变量， ?0与? 1为待估
参数， ? 为随机干扰项
估计方法有多种，其种最广泛使用的是普 通 最小二乘法 （ordinary least squares, OLS ）。
一元线性回归模型的基本假设
假设 1、解释变量 X是确定性变量，不是随机变量；
（2）其他随机或非确定性部分 ? i。
随机干扰项
随机误差项主要包括下列因素的影响：
1）代表未知的影响因素； 2）代表残缺数据； 3）代表众多细小影响因素； 4）代表数据观测误差； 5）代表模型设定误差； 6）变量的内在随机性
样本回归函数
样本回归函数
总体回归函数实际上是未知的。 例2.2：在例2.1的总体中有如下一个样本，能否