课本中相关章节的证明过程第2章有关的证明过程一元线性回归模型有一元线性回归模型为：y t = 0 + 1 x t + u t上式表示变量y t 和x t之间的真实关系。

其中y t 称被解释变量（因变量），x t称解释变量（自变量），u t称随机误差项，0称常数项，1称回归系数（通常未知）。

上模型可以分为两部分。

（1）回归函数部分，E(y t) = 0 + 1 x t,（2）随机部分，u t。

图真实的回归直线这种模型可以赋予各种实际意义，收入与支出的关系；如脉搏与血压的关系；商品价格与供给量的关系；文件容量与保存时间的关系；林区木材采伐量与木材剩余物的关系；身高与体重的关系等。

以收入与支出的关系为例。

假设固定对一个家庭进行观察，随着收入水平的不同，与支出呈线性函数关系。

但实际上数据来自各个家庭，来自各个不同收入水平，使其他条件不变成为不可能，所以由数据得到的散点图不在一条直线上（不呈函数关系），而是散在直线周围，服从统计关系。

随机误差项u t中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。

所以，在经济问题上“控制其他因素不变”实际是不可能的。

回归模型的随机误差项中一般包括如下几项内容，（1）非重要解释变量的省略，（2）人的随机行为，（3）数学模型形式欠妥，（4）归并误差（粮食的归并）（5）测量误差等。

回归模型存在两个特点。

（1）建立在某些假定条件不变前提下抽象出来的回归函数不能百分之百地再现所研究的经济过程。

（2）也正是由于这些假定与抽象，才使我们能够透过复杂的经济现象，深刻认识到该经济过程的本质。

通常，线性回归函数E(y t) = 0 + 1 x t是观察不到的，利用样本得到的只是对E(y t) = 0 + 1 x t 的估计，即对0和1的估计。

在对回归函数进行估计之前应该对随机误差项u t做出如下假定。

(1) u t 是一个随机变量，u t 的取值服从概率分布。

(2) E(u t) = 0。

(3) D(u t) = E[u t - E(u t) ]2 = E(u t)2 = 2。

称u i 具有同方差性。

(4) u t 为正态分布（根据中心极限定理）。

以上四个假定可作如下表达：u t N (0,)。

(5) Cov(u i, u j) = E[(u i - E(u i) ) ( u j - E(u j) )] = E(u i, u j) = 0, (i j )。

含义是不同观测值所对应的随机项相互独立。

称为u i 的非自相关性。

(6) x i 是非随机的。

(7) Cov(u i , x i ) = E[(u i - E(u i ) ) (x i - E(x i ) )] = E[u i (x i - E(x i ) ] = E[u i x i - u i E(x i ) ] = E(u i x i ) = 0.u i 与x i 相互独立。

否则，分不清是谁对y t 的贡献。

(8) 对于多元线性回归模型，解释变量之间不能完全相关或高度相关（非多重共线性）。

在假定（1），（2）成立条件下有E(y t ) = E(0 + 1 x t + u t ) = 0 + 1 x t 。

最小二乘估计（OLS ） 对于所研究的经济问题，通常真实的回归直线是观测不到的。

收集样本的目的就是要对这条真实的回归直线做出估计。

图怎样估计这条直线呢显然综合起来看，这条直线处于样本数据的中心位置最合理。

怎样用数学语言描述“处于样本数据的中心位置”设估计的直线用t y ˆ =0ˆβ+1ˆβ x t 表示。

其中t y ˆ称y t 的拟合值（fitted value ），0ˆβ和1ˆβ分别是 0和1的估计量。

观测值到这条直线的纵向距离用t uˆ表示，称为残差。

y t =t y ˆ+t u ˆ=0ˆβ+1ˆβ x t +t u ˆ 称为估计的模型。

假定样本容量为T 。

（1）用“残差和最小”确定直线位置是一个途径。

但很快发现计算“残差和”存在相互抵消的问题。

（2）用“残差绝对值和最小”确定直线位置也是一个途径。

但绝对值的计算比较麻烦。

（3）最小二乘法的原则是以“残差平方和最小”确定直线位置。

用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性（这种方法对异常值非常敏感）。

设残差平方和用Q 表示，Q = ∑=Ti t u 12ˆ= ∑=-T i t t y y 12)ˆ(= ∑=--Ti tt x y 1210)ˆˆ(ββ， 则通过Q 最小确定这条直线，即确定0ˆβ和1ˆβ的估计值。

以0ˆβ和1ˆβ为变量，把Q 看作是0ˆβ和1ˆβ的函数，这是一个求极值的问题。

求Q 对0ˆβ和1ˆβ的偏导数并令其为零，得正规方程， 0ˆβ∂∂Q = 2∑=--Ti t t x y 110)ˆˆ(ββ(-1) = 0 1ˆβ∂∂Q = 2∑=--T i t t x y 110)ˆˆ(ββ(- x t ) = 0 下面用代数和矩阵两种形式推导计算结果。

首先用代数形式推导。

由（）、（）式得，∑=--Ti tt x y 110)ˆˆ(ββ= 0 ∑=--T i tt x y 110)ˆˆ(ββx t = 0 （）式两侧用除T ，并整理得，ˆβ= x y 1ˆβ- 把（）式代入（）式并整理，得，])(ˆ)[(11∑=---Ti ttx x y yβx t = 0 ∑∑==---Ti t tTi t t x x xx y y 111)(ˆ)(β= 01ˆβ= ∑∑--ttt txx x y y x )()(因为∑=-Ti ty yx 1)(= 0，∑=-Ti tx xx 1)(= 0，[采用离差和为零的结论：∑==-Ti tx x10)(，0)(1=-∑=Ti ty y]。

所以，通过配方法，分别在（）式的分子和分母上减∑=-Ti ty yx 1)(和∑=-Ti tx xx 1)(得，1ˆβ= ∑∑∑∑------)()()()(x xx x x x y yx y y x ttttt t=∑∑---2)())((x x y y x x tt t即有结果：1ˆβ= ∑∑---2)())((x x y y x x t t t t t （）0ˆβ= x y 1ˆβ- 这是观测值形式。

如果以离差形式表示，就更加简洁好记。

1ˆβ= ∑∑2ttt xyxˆβ= x y 1ˆβ- 矩阵形式推导计算结果：由正规方程，ˆβ∂∂Q = 2∑=--Ti t t x y 110)ˆˆ(ββ(-1) = 0 1ˆβ∂∂Q = 2∑=--T i t t x y 110)ˆˆ(ββ(- x t ) = 0 0ˆβT +1ˆβ (∑=T i t x 1) = ∑=Ti t y 1ˆβ∑=Ti t x 1+1ˆβ (∑=Ti tx 12) = ∑=Ti t t y x 1⎥⎦⎤⎢⎣⎡∑∑∑2ttt xx x T⎥⎥⎦⎤⎢⎢⎣⎡10ˆˆββ=⎥⎥⎦⎤⎢⎢⎣⎡∑∑t t t y x y ⎥⎥⎦⎤⎢⎢⎣⎡10ˆˆββ=12-⎥⎥⎦⎤⎢⎢⎣⎡∑∑∑t tt x x x T ⎥⎥⎦⎤⎢⎢⎣⎡∑∑t t t y x y=22)(1∑∑-t t x x T ⎥⎥⎦⎤⎢⎢⎣⎡--∑∑∑T x x x tt t 2⎥⎥⎦⎤⎢⎢⎣⎡∑∑t t t y x y = ⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛----∑∑∑∑∑∑∑∑∑∑∑22222)()(t t t t t t t t t t t t t x x T y x y x Tx x T y x x y x 注意：关键是求逆矩阵12-⎥⎥⎦⎤⎢⎢⎣⎡∑∑∑t tt x x x T。

它等于其伴随阵除以其行列式，伴随阵是其行列式对应的代数余子式构成的方阵的转置。

写成观测值形式。

1ˆβ= ∑∑---2)())((x x y y x x t t t t tˆβ= x y 1ˆβ- 如果，以离式形式表示更为简洁：1ˆβ= ∑∑2ttt xy xˆβ= x y 1ˆβ-一元线性回归模型的特性1． 线性特性（将结果离差转化为观测值表现形式）∑∑∑∑-==222)(ˆi i i i i i x Y Y x x y x β∑∑∑∑∑=-=i i iii iiY K x x Y Y x x 22∑-=-=i i Y K X Y X Y 21ˆˆββ∑∑∑⎪⎭⎫ ⎝⎛-=-=i i i i i Y X K n Y X K Y n 112． 无偏性∑∑++==)(ˆ212i i i i i u X K Y K βββ∑∑∑++=i i i i i u K X K K 21ββ ∑∑∑++=i i i i i u K X K K 21ββ其中：0)222=-===∑∑∑∑∑∑∑i i i i i ii x X X x x x x K （∑∑∑∑+-==22)(i i i i i ii i x X X X x X x x X K∑∑∑+-=2)(i i i i x X x X X x11222==+=∑∑∑∑∑i i i ii x x x x Xx故有：∑+=i i u K 22ˆββ2222)(ˆββββ=+=+=∑∑i i i i Eu K u K E Ei i Y X K n ∑⎪⎭⎫ ⎝⎛-=1ˆ1β()i i i u X X K n ++⎪⎭⎫⎝⎛-=∑211ββ∑∑∑++=n u n X n i i21ββ∑∑∑---i i i i i u X K X X K X K 21ββ∑∑∑---++=i i i i i u K X X K X K X u X 2121ββββ∑-+=ii u K X n )1(1β∑=-+=∴111)1(ˆβββi i Eu X K n E3． 有效性首先讨论参数估计量的方差。

2222))ˆ(ˆ()ˆ(βββE E Var -=2222222)())(()ˆ(∑∑=-+=-=i i i i u K E u K E E ββββ()))((221122112n n n n i i u K u K u K u K u K u K u K ++++++=∑∑∑∑≠+=ji ji j i i i u u K K u K 2)(∑∑∑∑≠+=∴ji ji j i i i i i u u K K Eu K Eu K E 22)()(∑∑∑∑=⎪⎪⎭⎫ ⎝⎛==2222222i i i i i x x x Eu K οο 即：∑=222)ˆ(i x Var οβ同理有：∑∑=2221)ˆ(i i x n X Var οβ∑⎪⎭⎫ ⎝⎛-=-=22111)1())ˆ(ˆ()ˆ(i i u X K n E E E Var βββ22211i i i i u X K n u X K n ∑∑⎪⎭⎫ ⎝⎛-=⎪⎭⎫⎝⎛⎪⎭⎫ ⎝⎛-j i j j i i u u X K n X K n ⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝⎛+∑∑≠112211)ˆ(∑⎪⎭⎫ ⎝⎛-=X K n Var i οβ∑+-=)21(2222X K n X K n i i ο∑∑+-=222222i i K X K nXn οοο∑∑+=22222)(i i x n X nοο⎪⎪⎭⎫ ⎝⎛+=∑∑∑22222)()(i i i x X x n n ο∑∑∑⎪⎭⎫ ⎝⎛+-=222222)(1)(i i i x n X nX n X n ο∑∑=222i i x n X ο显然各自的标准误差为：∑=22)ˆ(i x se οβ，∑∑=221)ˆ(i i x n X se οβ标准差的作用：衡量估计值的精度。