ˆ ˆ 记： Q ei 2 [Yi (1 2 X i )]2
i i
最小化：即找到使得残差平方和最小的参数近似值。 Q ˆ ˆ 2 [Yi ( 1 2 X i )] 0 ˆ i
1
Q ˆ ˆ 2 [Yi ( 1 2 X i )] X i 0 ˆ 2 i
3
（2）、总体回归模型
总体回归模型 Y 1 2 X u
其中E (u) 0
总体回归方程：
E(Y X ) 1 2 X
4
（3）、样本回归模型
样本回归模型
ˆ Y Y e ˆ ˆ 1 2 X e
样本回归方程：
ˆ ˆ可以计算出来的
残差＝实际值－拟合值
（思考，u和e的区别和联系）
8
2、产生随机误差的原因
模型中被忽略的影响 模型函数形式的设定误差 数据的测量与归并误差 随机因素的影响（如自然灾害）
9
小结：样本回归方程与总体回归方程的关系
10
三、古典回归模型的基本假定
假设1、解释变量x为非随机变量。 即在重复抽样过程中，x取值是可控的、固 定的。 （可推出假设5）
( X i X )2 ( X i X )2 1 2 (3) i 2 2 2 2 ( ( X i X ) ) ( ( X i X ) ) ( X i X )2
29
2、无偏性：
（1）定义：参数估计量的均值就是真实值：
ˆ E[1 ] 1
ˆ E[2 ] 2
3、最小方差性——在所有线性无偏估计中，最小 二乘估计量的方差最小。
26
1、线性性：
含义 :参数估计量可以表示为被解释变量观 测值的线性组合。 证明只要把参数估计量表达式作适当的变形 即可。 意义：由于随机干扰项假定为正态分布，线 性性使得参数的估计量也是正态分布。
27 27
(Y Y )( X X ) Y ( X X ) ˆ = (X X ) (X X )
（2）证明：利用线性性表达和模型假设（用 到零均值假定，以及解释变量与随机项不相 关的假定）。 （3）意义： 参数估计量是以参数真实值为分布中心的随 机变量，反复抽样估计可得真实值。
30
2 iYi i ( 1 2 X i ui )
2 uii E2 2 1 i 2 i X i uii
19
Y
Yt
* * *
** * *
ˆ ˆ ˆ Y 1 2 X
ˆ Yt
et
* *
*
* * * *
*
*
*
Xt
X
20 20
最小二乘原理：要求所选择的回归模型对所 有观察值的残差平方和达到最小。即
ˆ ˆ min ei2 min (Yi 1 2 X i )2
21
2、最小二乘法参数估计
i i i i i i 2 2 2 i i i i
Xi X Y Y ( X X )2 i i i i i i i
ˆ =Y- X= ( 1 X )Y VY ˆ 1 n i i ii 2 i i
28
有用的结果：
Xi X i ( X i X )2 (1) i 0 Xi X (2) i X i Xi 2 (Xi X ) 1 (Xi X ) (Xi X ) 1 2 (Xi X )
代表了排除在模型外的所有因素对Ｙ的影响
观测值围绕期望值的离差
不可观测 （通常假定）期望为０，具有一定分布的随机变量
7
残差
ˆ 在样本回归方程中，实际值Yi 与估计值Yi 之 间的差距，称为残差。
ˆ ˆ ˆ Yi Yi ei 1 2 X i ei
可以看作是 u i 的估计量。
*
ˆ lim P(| | ) 1
n
25
（二）高斯－马尔科夫定理 在基本假定下，最小二乘估计是所有线性无偏估计 中的有效估计量。 即满足：线性性、无偏性、最小方差性。
ˆ ˆ 1、线性性—— 估计量1和2是Yi的线性组合
ˆ ˆ 2、无偏性—— E(1 ) 1 E(2 ) 2
其中，X Xi n Y ,Y i n ，称为样本均值
*公式的理解（估计量，估计值）
*公式成立的前提：X要有变异性 *估计结果的经济含义
xi X i X , yi Yi Y , 称为样本的离差
23
案例操作：
例１：一元回归方程参数的计算(P23) 例２：税收预测模型（时间序列数据） (P24,exp22) 例３：中国城镇居民消费函数（横截面数据 ）(P28, 作业1：P322-323 课程实验一 课程实验二
用残差表示得到：
e 0 e X 0
i i i i i
并可以推导得到： eiYi 0
i
22
正规方程：
ˆ ˆ n1 2 X i Yi ˆ ˆ 1 X i 2 X i2 X iYi
参数估计：
ˆ n X iYi X i Yi ( X i X )(Yi Y ) xi yi 2 2 2 2 n X i ( X i ) (Xi X ) xi 2 ˆ 1 ˆ ˆ 1 ( Yi 2 X i ) Y 2 X n
（2）方差的影响因素
ˆ 1 的方差：
ˆ Var[ 1 ]
2 X i2
n xi2
ˆ 2 的方差：
ˆ Var[ 2 ]
xi2
2
xi X i X
34
（3）最小方差性：
证明的思想：设参数的任意其他线性无偏估计， 证明它们的方差大于最小二乘估计。 最小方差性也称为有效性。方差小是对参数估 计量价值的重要支持。 最小方差线性无偏估计 ——求解方差的过程和证 明有效性的过程都用到同方差假定和无序列相关 假定。
24
二、最小二乘估计的性质
（一）参数估计量的评价标准
1、线性性 ˆ 2、无偏性 E( ) 3、有效性： ˆ ˆ* ˆ , 均为参数的无偏估计，若 Var ( ) var( ) ˆ 设 ˆ ，称 比 *有效。 ˆ 如果在所有无偏估计量中， 的方差最小，称 为有效估计量。 4、一致性。如果随着样本容量的增加，估计量 越来越接近真实值，称为一致估计。
含义： 所需估计的方差数简化为一个。 因变量可能取值的分散程度也是相同的，因 而每个观察值的可靠性相同。
13
假设4：无自相关假定。即各个随机误差项之间 无自相关。
cov(ui , u j ) 0
可以推出：cov(ui , u j ) E(ui u j ) 0 含义： 表明产生干扰的因素是完全随机的。此次干 扰和彼此干扰互不相关，相互独立 在给定X的前提下，因变量序列值之间也互 不相关。
保证可以求解 在一元回归中，要求解释变量不能为常数 可以分析每个解释变量对Y的单独影响
16
补充假定
对随机误差项分布的正态性假定。 ui N (0, 2 ) 结合前面的假定，有 含义：
一般不列为基本假定 对参数求解和参数估计的性质没有影响 但是对研究参数估计量的分布有用，是假设 检验和区间估计的基础 中心极限定理表明，该假设通常是合理的。
5
二、模型的随机设定
1、随机误差项 总体回归方程只是反映了总体的平均变化规 律，但是对个体而言，Y与平均E(Y|X)存在 差距，所以引入随机误差项
Y 1 2 X u
6
随机误差项代表了排除在模型以外的所有因素 对Y的影响
u Y E(Y ) ui Yi E(Y X ) Y (1 2 X )

*注意：估计量表达式的新含义 想一想1：哪些假设在这里起了作用？ *想一想2：如果这些假设不满足，结果会怎样？
31
3、最小方差性：
（1）求方差 （2）方差的影响因素 （3）证明这个方差是最优的（略）
32 32
（1）求方差
2 2 i ui

ˆ ] E ( )2 E ( u )2 Var[ 2 ii 2 2
第二章 回归模型
第一节 第二节 第三节 第四节 古典回归模型 回归模型的参数估计 回归模型的统计检验 非线性回归模型
1
第一节 古典回归模型
一、回归分析 二、模型的随机设定 三、古典回归模型的基本假定
2
一、回归分析
(1)基本概念 一元线性模型 Y 1 2 X u 回归线： 对每一个X的取值，Y的条件期望E(Y|Xi)的 点的轨迹所形成的直线或曲线，称为回归线 回归函数（方程） 如果把Y的条件期望E(Y|Xi)表示成为X的某种 函数，即E(Y|Xi)=f(Xi)这个函数称为回归函 数
2 2 2 2 E (u1212 u2 2 un n ui2 2 ) j
= 2 i2 0
ˆ Var[ 1 ]
xi2
2
其中；xi X i X
2 X i2
n xi2
*想一想1：哪些假设在这里起了作用？ *想一想2：如果这些假设不满足，结果会怎样？ 33
35
三、估计量的分布与置信区间
（一）随机扰动项的方差估计 一元线性回归模型中，随机扰动项方差的无偏 估计
ˆ 2 ei2 n2 (Yi Yi )2 ˆ n2 ˆ ˆ [Yi ( 1 2 X i )]2 n2
36
（二）OLS估计的概率分布 1、估计量的分布
17
第二节 回归模型的参数估计