第2章
简单回归模型
2.1复习笔记
一、简单回归模型的定义1．简单线性回归模型一个简单的方程是：
01y x u
ββ=++假定方程在所关注的总体中成立，它便定义了一个简单线性回归模型。

因为它把两个变量x 和y 联系起来，所以又把它称为两变量或者双变量线性回归模型。

变量u 称为误差项或者干扰项，表示除x 之外其他影响y 的因素。

1β就是y 与x 的关系式中的斜率参数，表示在其他条件不变的情况下，x 变化一个单位y 平均变化。

0β被称为截距参数，在一般的模型中除非有很强的理论依据说明模型没有截距项，否则一般情况下都要带上截距项。

2．回归术语
表2-1
简单回归的术语
3．零条件均值假定（1）零条件均值
u 的平均值与x 值无关。

可以把它写作：
()()
|E u x E u =当方程成立时，就说u 的均值独立于x。

（2）零条件均值假定的意义
①零条件均值假定给出1β的另一种非常有用的解释。

以x 为条件取期望值，并利用()|0E u x =，便得到：
()01|E y x x
ββ=+方程表明，总体回归函数（PRF）()|E y x 是x 的一个线性函数，线性意味着x 变化一个单位，将使y 的期望值改变1β。

对任何给定的x 值，y 的分布都以()|E y x 为中心。

1β就是斜率参数。

②给定零条件均值假定()|0E u x =，把方程中的y 看成两个部分是比较有用的。

一部分是表示()|E y x 的01x ββ+，被称为y 的系统部分，即由x 解释的那一部分，另一个部分是被称为非系统部分的u，即不能由x 解释的那一部分。

二、普通最小二乘法的推导1．最小二乘估计值
从总体中找一个样本。

令(){} 1 i i x y i n =，
：，…，表示从总体中抽取的一个容量为n 的随机样本。

01i i i
y x u ββ=++在总体中，u 与x 不相关。

因此有：
()()()0cov 0
E u x u E xu ===，和用可观测变量x 和y 以及未知参数0β和1β表示为：
()010
E y x ββ--=()010
E x y x ββ--=⎡⎤⎣⎦得到
()
011
1ˆˆ0n
i i
i y x n ββ=--=∑和
()
011
1ˆˆ0n
i i i
i x y x n ββ=--=∑这两个方程可用来解出0ˆβ和1
ˆβ01
ˆˆy x ββ=+则
01
ˆˆy x ββ=-一旦得到斜率估计值1
ˆβ，则有：()1
11
ˆˆ0n
i
i
i
i x y y x x ββ=⎡⎤---=⎣⎦
∑整理后便得到：
()
()
11
1
ˆn
n
i
i
i i i i x y
y x x x β==-=-∑∑
根据求和运算的基本性质，有：
()()
2
1
1
n n
i i i i i x x x x x ==-=-∑∑()
()()
1
1
n
n
i
i
i i i i x y
y x x y y
==-=--∑∑因此，只要有
()
2
1
n
i
i x x =->∑估计的斜率就为：
()()
()
1
1
2
1
ˆn
i
i i n
i i x
x y y
x x β==--=-∑∑所给出的估计值称为0β和1β的普通最小二乘（OLS）估计值。

2．普通最小二乘估计的合理性已知
01ˆˆˆi i
y x ββ=+第i 次观测的残差是y i 的实际值与其拟合值之差：
01ˆˆˆˆi i i i i
u y y y x ββ=-=--选择0β和1β最小化残差平方和：
()
2
2011
1
ˆˆˆn
n
i i i i i u y x ββ===--∑∑
“普通最小二乘法”之所以得名，就是因为这些估计值最小化了残差平方和。

求得0β和1β使得残差平方和最小，就是用上式对0β和1β分别求偏导，OLS 估计的一阶条件为：
()
011
ˆˆ0n
i
i
i y
x ββ=--=∑()
011
ˆˆ0n
i
i
i
i x y
x ββ=--=∑一旦确定了OLS 截距和斜率估计值，就能够建立OLS 回归线：
01
ˆˆˆy x ββ=+方程又被称为样本回归函数（SRF），因为它是总体回归函数()01|E y x x ββ=+的一个样本估计。

总体回归函数是固定而又未知的。

而样本回归函数则是来自一组给定的数据样本，所以利用不同的样本将使得方程中产生不同的斜率和截距。

三、OLS 的操作技巧1．拟合值和残差
假定从给定数据样本中得到截距和斜率的估计值0ˆβ和1ˆβ。

给定0ˆβ和1
ˆβ，能够获得每次观测的拟合值ˆi y。

根据定义，ˆi y 的每个拟合值都在OLS 回归线上。

与第i 次观测相联系的OLS 残差ˆi u
是i y 与其拟合值之差。

若ˆi u 为正，则回归线低估了y i ；若ˆi u
为负，则回归线高估了y i 。

第i 次观测最理想的情况是ˆ=0i u ，但在大部分情形中，并非每个残差都等于零。

换言之，实际上没有一个数据点必须在OLS 线上。

OLS 的思想就是使得这些数据点尽可能接近于OLS 回归线。

2．OLS 统计量的代数性质
（1）OLS 残差和及其样本均值都为零。

数学表述为：
1
ˆ0
n
i
i u
==∑（2）回归元和OLS 残差的样本协方差为零。

1
ˆ0
i
n
i
i x u
==∑（3）点() x y ，
总在OLS 回归线上。

3．定义总平方和（SST）、解释平方和（SSE）和残差平方和（SSR）
()
2
1n
i i y y
==-∑SST ()
2
1
ˆn
i i y
y ==-∑SSE 21
ˆn
i i u
==∑SSR SST 度量了y i 中的总样本变异；这就是说，它度量了y i 在样本中的分散程度，称为总平方和。

SSE 度量了y i 的样本变异，即样本的变异中能由回归方程所能解释的部分，因此称为解释平方和。

SSE 度量了u i 的样本变异，即不能由回归线解释的部分，称为残差平方和。

y 的总变异SST 总能表示成解释了的变异SSE 和未解释的变异SSR 之和，即有：
SST SSE SSR
=+不能把残差平方称为“误差平方和”，因为误差和残差是不同的两个量。

4．拟合优度。