西南财经大学2013级博士研究生高级计量经济学学习指南2013级博士生高级计量经济学学习指南第一部分条件期望与条件方差第二部分古典假设与最小二乘法第三部分最小二乘的有限样本性质第四部分最小二乘的大样本性质第五部分非球型扰动与广义回归模型第六部分极大似然估计,广义矩估计第七部分检验与推断第八部分工具变量和两阶段最小二乘第九部分模型设定检验第一部分 条件期望与条件方差在正式进入计量经济学的学习之前,需要对条件期望以及条件方差熟练掌握,它们是以后学习的基础。
一、条件期望 1、条件均值的定义 条件均值的定义为:[]()()||()||yy x yyf y x dy y m x E y x yP y x y ⎧⎪=⎨⎪⎩⎰∑若是连续的若是离散的应当指出的是,条件期望是谁的函数。
2、条件均值的性质条件均值有几个简单而有用的性质:(1)迭代期望律 ( Law of Iterated expectations, LIE) 条件期望的条件期望等于无条件期望。
[][]|x E y E E y x ⎡⎤=⎣⎦,其中,记号[]x E ⋅表示关于 x 值的期望。
Proof: 离散情形:We need to show: ()[]()|X xE y E y X x P X x ===∑Where []()|||Y X yE Y X x yP y x ==∑.We have[]()()()|||XY XXxyxE Y X x P X x y P y x P x ===∑∑∑()()YyyP Y y E Y ===∑.连续情形:()()X xE g gf x dx =⎰,and ()()||yE y x yf y x dy =⎰()()()||X xE E Y X x E Y X x f x dx ∴===⎡⎤⎡⎤⎣⎦⎣⎦⎰()()|x y yf y x dy f x dx ⎛⎫= ⎪ ⎪⎝⎭⎰⎰()()|x yyf y x dy f x dx =⎰⎰()()|x yyf y x f x dxdy =⎰⎰()()(),x yyyf x y dxdy yf y dy E y ===⎰⎰⎰迭代期望律的一般表述方式 ()()()|||E y E E y =x w x其中,()g =x w ,x 是w 的子集,()g ⋅为非随机函数。
语义:若已知w 的结论,我们也就知道x 的结论。
记: ()()()()12|, |E y E y μμ≡≡w w x x 则:()()()()21||E y E μμ≡=x x w xProof 需要较多的测度论的知识,这里只是加以说明证明的思路。
()||E E y ⎡⎤⎣⎦w x 中,w 的信息多于x 。
因此,当()()1|E y μ≡w w 时,运用x的信息,也可描述()()2|E y μ≡x x 。
例如,w 和x 分别为天平的砝码,w 为1克的集合,x 为5克的集合,因此,有()g =x w 。
当我们用w 的信息描述y 时,也可以用x 的信息加以描述。
特例: ()()()||,|E y E E y =x x z x 另外,()()()|||E y E E y =x x w 也成立。
(2)[][]()()|()()|E g y h x y g y E h x y = (3)[][]{}()()()()|E g y h x E g y E h x y =[][]()[]{}()()()()|()()|E g y h x E E g y h x y E g y E h x y ==(4)[][][]|||E ax by z aE x z bE y z +=+ 更为一般的情形: 设,()()()()12,,,G a a a b x x x x 和为x 的标量函数,12,,,G y y y 为随机变量,那么:()()()()()11||G Gj j j j j j E a y b a E y b ==⎛⎫+=+ ⎪⎝⎭∑∑x x x x x x (5)对于任何二元变量的分布,()[](),,|Cov x y Cov x E y x =()()[]()|x xx E x E y x f x d x =-⎰ 证明:(,)Cov x y Exy ExEy =-[(|)][(|)][(E E x y xE x E y E x E y xE x E E y x=-=- [](),|Cov x E y x ={()[(|)((|)E x E xE y x E E y x =-- [()(|)][()][()(E x E xE y x E xE x E yE xE x E y x=---=- ()()[]()|x xx E x E y x f x d x =-⎰ 从这个公式中,我们需要理解线性回归中的两个古典假设:(|)0(,)0E u x Cov x u =⇒=由此,零均值假定(在i x 给定的条件下,i u 的条件均值为零)(强外生),与随机扰动项与解释变量不相关的假定(弱外生),这将在以后的学习中经常提及。
(6)若定义()|y E y x μ≡-,在假设(), 1,2,3,,i E g j J μ<∞=x 和()E μ<∞条件下,有()()0E g x μ=。
其中,()g x 为任意函数。
特殊情形,()0E μ=,(),0Cov x μ=。
证明:()()()()()()()()()||| ||| ||0E Ey E y E y E E y E y E y μ=-=-=-=x x x x x x x x 又 ()()()()()()()()()()||00E E E EE E μμμ====g x gx x g x x g x ()()()()()()()()||0E E y E y E y E Ey E y E yμ=-=-=-=x x()()()()()()()()()(), ||00Cov x E x E x E E x E E x x E xE x E x μμμμμμ=-=====3、条件方差的定义 条件方差的定义为:[]()[]()()[]()2222|||||Var y x x E y E y x x E y x E y x σ⎡⎤≡≡-=-⎣⎦它的简化公式为:()()[]()22|||Var y x E y x E y x =-可认为是:分组条件下的集中程度的度量,或者,分组条件下的差异程度的度量。
同理,条件期望为总体分组条件下的分门别类地求期望(学校教师的平均年龄=各院系教师平均年龄的平均)。
(1) ()()()()()()()2||Var a y b a Var y +=x x x x x 证明:(作业)(2)一个重要的方差分解定理:在一个联合分布中有,[][][]||x x Var y Var E y x E Var y x ⎡⎤⎡⎤=+⎣⎦⎣⎦ 它表示,在一个二元分布中,y 的方差可分解为条件均值函数的方差加上条件方差的期望。
将此式变形即可得到:[][][]||x x E Var y x Var y Var E y x ⎡⎤⎡⎤=-⎣⎦⎣⎦它表示从平均意义上看,在条件约束下,条件化减少了变量的方差。
我们有清楚的结论:y 的条件方差不大于y 的无条件方差。
证明()()()()()()()22||Var y E y E y E y E y E y E y =-=-+-x x()()()()()()()()()()()()()220|| 2||E h x E y E y E E y E y Ey E y E y E y μ===-+-+--x x x x()()()()()22||E y E y E E y E y =-+-x x()()()()()()()()()()()()()()2||22|||||E E y E E y Var E y E Var y E E y E y E E y E y =-===-+-x x x x x x x()()()()||E Var y Var E y =+⇔x x(3)(|)[(|)|][(|)|]Var y E Var y Var E y =+x x,z x x,z x 证明:利用性质:[(|)|](|)E E y E y =x,z x x ,22[(|)|](|)E E y E y =x,z x x 则:()22(|)(|)(|)Var y E y E y =-x,z x,z x,z()()()2222[(|)|](|)(|)| (|)(|)|E Var y E E y E y E y E E y ⎡⎤⇒=-⎣⎦=-x,z x x,z x,z x x x,z x()()2222[(|)|]((|)|)((|)|) ((|)|)(|)Var E y E E y E E y E E y E y =-=-x,z x x,z x x,z x x,z x x[(|)|][(|)|]E Var y Var E y ⇒+x,z x x,z x()()()222222(|)(|)|((|)|)(|)(|)(|)E y E E y E E y E y E y E y =-+-=-x x,z x x,z x x x x小结:1、方差分解定理可以表述为:[][][]||x x Var y Var E y x E Var y x ⎡⎤⎡⎤=+⎣⎦⎣⎦它表示,在一个二元分布中,y 的方差可分解为条件均值函数的方差加上条件方差的期望。
在方差分解定理的公式中,[]Var y 是y 的方差,相当于回归式中的总离差平方和TSS 。
条件均值的方差[]|x Var E y x ⎡⎤⎣⎦,相当于回归式中的回归平方和ESS ;条件方差的期望[]|x E Var y x ⎡⎤⎣⎦,相当于回归的残差平方和RSS 。
(注意总体与样本的区别)2、依据方差分解定理,可以构造R 2统计量: [][]2|x Var E y x ESS R TSS Var y ⎡⎤⎣⎦=→3、对方差分解定理进行简单的扩展,得到如下的表达式:(|)[(|,)|][(|,)|]Var y X E Var y X z X Var E y X z X =+ (|)[(|,)|]Var y X E Var y X z X ⇒≥两边取期望,由迭代期望定理得到:[(|)]{[(|,)|]}[(|,)]E Var y X E E Var y X z X E Var y X z ⇒≥=由于回归方程的总离差平方和TSS 是不变的,因此,上式说明,在回归式中增加新的变量会使得可决系数增大。
第二部分 古典假设与最小二乘一、背景本部分开始我们正式进入计量经济学的学习。
在计量经济学中,我们考察经济变量之间的相互关系,最基本的方法是回归分析。