2009级博士高级计量经济学学习指南第一部分条件期望与条件方差第二部分古典假设与最小二乘第三部分最小二乘的有限样本第四部分最小二乘的大样本性质第五部分非球型扰动与广义回归模型第六部分异方差与自相关第七部分工具变量和两阶段最小二乘第八部分广义矩估计第九部分极大似然估计第十部分检验与推断(Wald检验、LM检验和LR检验)第十一部分模型的设定和检验(第十二部分上机操作)第一部分条件期望与条件方差在正式进入计量经济学的学习之前,需要对条件期望以及条件方差熟练掌握,它们将在以后的学习中经常遇到。
一、条件期望1、条件均值的定义条件均值的定义为:应当指出的是,条件期望是谁的函数。
2、条件均值的性质条件均值有几个简单而有用的性质:(1)迭代期望律 ( Law of Iterated expectations, LIE)条件期望的条件期望等于无条件期望。
[][]|x E y E E y x ⎡⎤=⎣⎦,其中,记号[]x E ⋅表示关于 x 值的期望。
Interpretation: the expectation of Y can be calculated by first conditioning on X, finding E(Y |X) and then averaging this quantity with over X.Proof:离散情形:We need to show: ()[]()|X xE y E y X x P X x ===∑Where []()|||Y X yE Y X x yP y x ==∑.We haveContinuous Case:()()X x E g gf x dx =⎰Q ,and ()()||yE y x yf y x dy =⎰Q.E.D.迭代期望律的一般表述方式其中,()g =x w ,x 是w 的子集,()g ⋅为非随机函数。
语义:若已知w 的结论,我们也就知道x 的结论。
记: ()()()()12|, |E y E y μμ≡≡w w x x则:()()()()21||E y E μμ≡=x x w xProof 需要较多的测度论的知识,这里只是加以说明证明的思路。
()||E E y ⎡⎤⎣⎦w x 中,w 的信息多于x 。
因此,当()()1|E y μ≡w w 时,运用x 的信息,也可描述()()2|E y μ≡x x 。
例如,w 和x 分别为天平的砝码,w 为1克的集合,x 为5克的集合,因此,有()g =x w 。
当我们用w 的信息描述y 时,也可以用x 的信息加以描述。
特例: ()()()||,|E y E E y =x x z x另外,()()()|||E y E E y =x x w 也成立。
(2)[][]()()|()()|E g y h x y g y E h x y =(3)[][]{}()()()()|E g y h x E g y E h x y =(4)[][][]|||E ax by z aE x z bE y z +=+更为一般的情形:设,()()()()12,,,G a a a b x x x x K 和为x 的标量函数,12,,,G y y y K 为随机变量,那么:(5)[]{}[]1|||t t t E E x E x +ΩΩ=Ω,t Ω表示t 时刻的信息集。
(6)对于任何二元变量的分布,()[](),,|Cov x y Cov x E y x =证明:(,)Cov x y Exy ExEy =-从这个公式中,我们需要理解线性回归中的两个古典假设:由此,零均值假定(在i x 给定的条件下,i u 的条件均值为零)(强外生),与随机扰动项与解释变量不相关的假定(弱外生),这将在以后的学习中经常提及。
(7)若定义()|y E y x μ≡-,在假设(), 1,2,3,,i E g j J μ<∞=x K 和()E μ<∞条件下,有()()0E g x μ=。
其中,()g x 为任意函数。
特殊情形,()0E μ=,(),0Cov x μ=。
证明:又 ()()()()()()()()()()||00E E E E E E μμμ====g x g x x g x x g x3、条件方差的定义条件方差的定义为:它的简化公式为:()()[]()22|||Var y x E y x E y x =- 可认为是:分组条件下的集中程度的度量,或者,分组条件下的差异程度的度量。
同理,条件期望为总体分组条件下的分门别类地求期望(学校教师的平均年龄=各院系教师平均年龄的平均)。
(1) ()()()()()()()2||Var a y b a Var y +=x x x x x 证明:(作业??)(2)一个重要的方差分解定理:在一个联合分布中有,[][][]||x x Var y Var E y x E Var y x ⎡⎤⎡⎤=+⎣⎦⎣⎦它表示,在一个二元分布中,y 的方差可分解为条件均值函数的方差加上条件方差的期望。
将此式变形即可得到:[][][]||x x E Var y x Var y Var E y x ⎡⎤⎡⎤=-⎣⎦⎣⎦它表示从平均意义上看,在条件约束下,条件化减少了变量的方差。
我们有清楚的结论:y 的条件方差不大于y 的无条件方差。
证明(3)(|)[(|)|][(|)|]Var y E Var y Var E y =+x x,z x x,z x证明:利用性质:[(|)|](|)E E y E y =x,z x x ,22[(|)|](|)E E y E y =x,z x x则:()22(|)(|)(|)Var y E y E y =-x,z x,z x,z小结:1、方差分解定理可以表述为:[][][]||x x Var y Var E y x E Var y x ⎡⎤⎡⎤=+⎣⎦⎣⎦它表示,在一个二元分布中,y 的方差可分解为条件均值函数的方差加上条件方差的期望。
在方差分解定理的公式中,[]Var y 是y 的方差,也就是回归式中的总离差平方和TSS 。
条件均值的方差[]|x Var E y x ⎡⎤⎣⎦是回归式中的回归平方和ESS ;条件方差的期望[]|x E Var y x ⎡⎤⎣⎦是回归的残差平方和RSS 。
(注意总体与样本的区别)2、依据方差分解定理,可以构造R 2统计量:3、对方差分解定理进行简单的扩展,得到如下的表达式:两边取期望,由迭代期望定理得到:由于回归方程的总离差平方和TSS 是不变的,因此,上式说明,在回归式中增加新的变量会使得可决系数增大。
第二部分 古典假设与最小二乘一、背景本部分开始我们正式进入计量经济学的学习。
在计量经济学中,我们考察经济变量之间的相互关系,最基本的方法是回归分析。
回归分析是计量经济学的主要工具,也是计量经济学理论和方法的主要内容。
本部分从多元回归模型入手,对古典假设进行复习,然后就最小二乘估计法的算法、双残差回归和模型拟合优度的一些问题进行探讨。
二、知识要点1、回归模型2、古典假设3、最小二乘法4、双残差回归5、方差分解和拟合优度参考章节:Chapter2,Chapter 3三、要点细纲1、回归模型一般的,我们可以将回归模型写为条件期望和条件异方差的和,即:(|)S()E =+y y X X ε。
对于S()X ε的讨论构成条件异方差自回归模型,我们这里仅考虑当条件方差为常数1时的情形,即:(|)E =+y y X ε。
当(|)E y X 取不同的形式时,也就构成了不同的模型,包括:线性、非线性和非参数等。
我们这里主要讨论的是线性模型(一元或多元):[|] =E y X X β,则总体回归方程可表示为:=+y X βε。
其中:T 表示样本数量,k 表示解释变量个数(包含了常数项),当2k =时就是一元线性回归模型。
而()12(1)TT T εεε⨯=L ε表示的是随机扰动项,包含了除了解释变量以外的其他影响因素。
若遗漏变量,则这个变量也将被扰动项所包含。
这里有个回归和投影的概念,简单的说回归是相对总体而言,而投影是相对样本而言,线性投影总是存在的,而且是唯一的。
2、古典假设在初级计量经济学中,我们可以看到对于回归模型的假设条件包括:(1)零均值,即()(|)0,|0i ij i E Cov x εε=⇒=X X ;(2)同方差与无自相关假定,即随机扰动项的方差2(|)T Var σ=U X I ;(3)随机扰动项与解释变量不相关,即(,|)0ji i Cov x ε=X ;(4)无多重共线性,即各解释变量之间线性无关,()Rank k =X ;(5)正态性假定,即2~(0,)i N εσ。
在格林(W. Greene )教材上将以上假设条件总结为:①线性;②满秩;③解释变量的外生性;④球形扰动;⑤数据生成过程的外生性;⑥正态性。
比较这些假定可以发现,原来初等计量上的(1)和(3)假定没有了,新的假定是解释变量的外生性和数据生成过程的外生性。
由之前条件期望的部分,我们已经看到初级计量中的(1)和(3)假设是重复的,它们都是属于外生性条件。
格林教材上的假设也就把它们合二为一了。
学习中需要理解和掌握格林教材中的这些假设条件。
对于线性假定,两个层面,一是指参数线性,而不是解释变量的线性。
这里,某些非参数线性的模型,可以通过对解释变量和被解释变量进行一定的线性变形,可以转换为参数线性模型,比如对数线性模型、半对数线性模型、超对数线性模型等;另一是指有利于推导参数估计量的统计分布以及进行推断分析。
第二,满秩性条件,它是为了保证条件期望的唯一性,参数可求解,同时,此项假设在本课程的学习过程,将会在多处(特别是在某些推导过程中)涉及。
第三,外生性条件,表示随机扰动项中不包含有解释变量的任何信息。
注意,外生性条件的不同表述方式和内涵。
外生性条件的违反将影响到参数估计的一致性问题。
第四,球形扰动,是指随机扰动项的方差-协方差矩阵为同方差和无自相关同时成立时的情况。
违反此假设条件,被称为非球形扰动,将会影响到参数估计的有效性问题。
第五,数据生成过程的外生性条件指变量数据的生成过程是独立的,不受其他变量和扰动项的影响。
第六,正态性条件,它主要与我们的统计检验和推断有关,但在大样本的条件下,根据中心极限定理这个条件是可以放宽的。
在后期的学习过程中,将逐渐放宽这些假设条件,从而对于这些假定的进行深入理解。
3、最小二乘法以估计的残差平方和最小的原则确定样本回归函数,称为最小二乘准则。
在古典假定下的最小二乘法,也称为普通最小二乘估计(简记为OLS )。
对于多元回归模型,我们的目标是使得回归的残差平方和达到最小,即:则它的一阶条件为:$$∂∂S=-2X'Y +2X'X ββ化简得:$$−−−→-1X'Y =X'X ββ=(X'X)X'Y 满秩 以上是属于初中级计量中的做法。