对任何其元素平方和为1的(k+1)1向量, ’=1 ’Var(b|X) = 2’(X’X)-1 2max[(X’X)-1] = 2{min[(X’X)]}-1
注意： Var(b|X)0还可通过Chebycheff不等式来证明： 对b中的第i个元素：P{|bi-i|>}<Var(bi)/2=(2cii)/2 n时，(X’X)，则(X’X)-10 于是： lim P{|bi-i|>}=0 for all >0
第四章 经典线性回归模型(I)
Classical Linear Regression Model (I)
§4.1 经典线性回归模型 Classical Linear Regression Models
一、经典回归模型 Classical Regression Model
假设随机抽取一容量为n的样本(Yi, Xi), i=1,…,n， 其中，Yi是标量，Xi=(1,X1i,X2i,…,Xki)’，或
四、估计2及Var(b) Estimation of 2 and Var(b)
由于2未知，而Var(b)中也有2，故需估计。 由假设4，E(i2|X)=2，故可用E(ei2|X)来估计2。
E(ei2|X)=E(e’e|X)= E(’M|X)=E(ijmijij|X)
= ijmijE(ij|X)= 2imii = 2trace(M) 而 trace(M)=trace(In-P)=trace(In)-trace[X(X’X)-1X’] =n-trace[(X’X)-1XX’]=n- trace[(X’X)-1X’X] =n-(k+1)
(3) 计量经济学中，关于严格外生性有其他的定义。 如定义为i独立于X，或X是非随机的。这一定义排 除了条件异方差性。而我们这里的假设2是允许存在 条件异方差性的。 如果X是非随机的，则假设2变成
E(i|X)=E(i)=0
(4ห้องสมุดไป่ตู้假设2的向量形式：
E(|X)=0
注意： (1)本假设排除了解释变量间的多重共线性 (multicollinearity) (2) 本假设意味着X’X是非奇异的，或者说X必须 满秩于k+1。因此应有k+1≤n。 (3) 由于λ表述了矩阵X’X的相关信息，因此本假 设意味着当n∞时应有新信息进入X，即Xi不能老 是重复相同的值。
(4) [Gauss-Markov theorem]
In the CR model, the LS coefficient vector b is the minimum variance linear unbiased estimator of parameter vector .
设b*是另一线性无偏估计：b*=C’Y 其中，C=C(X)为一n(k+1)只依赖于X的矩阵。 只需证明 Var(b*)-Var(b)是半正定的
Ruc2为非中心化多元相关系数的平方(Uncentered squared multi-correlation coefficient)
注意： (1) 0 Ruc21 (2) Ruc2 的含义：Y的变化中可以由X的变化解释的 部分所占的比重
称为Y的方差分解式(analysis of variance)：观测值的离差平方 和(SST)等于拟合值的离差平方和(SSE)加残差的平方(SSR): SST=SSE+SSR
• 一些有用的等式 (1) X’e=0 (2) b-=(X’X)-1X’ 因为 b=(X’X)-1X’Y=(X’X)-1X’(X+)=+(X’X)-1X’ (3) 定义nn方阵： P=X(X’X)-1X’ , M=In-P 则 P=P’ ， M=M’ P2=P， M2=M 且 PX=X, MX=On(k+1) (4) e=MY=M SSR(b)=e’e=Y’MY=’M
(3) 假设4意味着存在非条件同方差性： var(i)=2 类似地， Cov(i, j)=0 (4) 假设4并不意味着i与X是独立的。它充许i的 条件高阶矩（如：偏度、峰度）可依赖于X。
二、参数的估计 Estimation of
由假设1与假设2知： E(Y|X)=0+1X1+…+kXk=X’ 其中，X=(1, X1, …,Xk)’ 即线性模型Y=X’+关于E(Y|X) 正确设定。 因此，其最佳线性最小二乘近似解(beat linear LS approximation coefficient)*等于参数的真实值0。 即，min E(Y-X’)2 的解为 *=0=[E(XX’)]-1E(XY)
于是
E(ei2|X)=E(e’e|X)= 2(n-k-1)
记s2=ei2/(n-k-1)=e’e/(n-k-1)，则s2为2的无偏估计量
五、估计条件期望及预测 Estimation of conditional Expectation, and Prediction 1、估计条件期望
2、Y个值的预测
为避免将无解释力的解释变量纳入到X中去，引入 调整的决定系数(adjusted coefficient of determination):
(4)决定系数仅是对样本回归线拟合样本数据的程 度给予描述。而CR模型并不要求R2要有多高，CR 模型关心的是对总体回归参数的估计与检验。 (5) 有两个常用的判别是否有必要引入额外解释变 量的准则（在变量数目与模型简洁性间权衡）：
(i=1,2,…n)
(1) 由E(i|X)=0 易推出：E()=0, E(Xji)=0 或有： Cov(Xj, i)=0 (i, j=1,2,…n) (2) 由于可以有j≤i, 或j>i, 意味着i既不依赖过去的X， 也不依赖于未来的X。因此排除了动态模型。 例：对AR(1)模型： Yi=0+1Yi-1+i=Xi’+i 这里Xi=(1, Yi-1)’，显然E(Xii)=E(Xi)E(i)=0，但 E(Xi+1i)≠0。因此，E(i|X)≠0
注意：
(1) 1阶偏导： SSR/b= -2X’(Y-Xb)
2阶偏导： 2SSR/2b=2X’X
由min(X’X)>0 知2X’X>0, 从而b=(X’X)-1(X’Y)是最小值 (2) 由1阶极值条件可以得到所谓正规方程(normal equations): X’(Y-Xb)=X’e=0 正规方程是OLS所特有的，而不论是否有E(i|X)=0
假设1(linearity): Yi=0+1X1i+…+kXki+i =Xi’+i (i=1,2,…n) 或 Y=X+ 其中，=(0, 1,…,k)’, =(1,2,…,n)’ 注意： 这里的线性性指Y关于参数是线性的。
假设2（strict Exogeneity）: E(i|X)=E(i|X1,X2,…Xn)=0, 注意：
注意：
(1) Gauss-Markov 定理表明OLS估计量b是的最 佳线性无偏估计量(best linear unbiased estimator, BLUE) ； (2)由性质(1)与性质(2)还可得出，OLS估计量b依 均方收敛于，因此依概率收敛于，从而是的一 致估计量。 (3)由性质(1)与性质(2)知： MSE(b|X)=E(b-)(b-)’|X) =Var(b|X)+[bias(b|X)]2 0 (n)
注意： (1) 假设4可写成
E(ij|X)=2ij,
其中， i= j时，ij=1； i≠j时，ij=0
矩阵形式： E(’)=2I
(2)由假设2，
Var(i|X)=E(i2|X)-E[(i|X)]2=E(i|X)=2
同理， Cov(i,j|X)=E(ij|X)=0
Y1 Y2 Y Y n
1 X 11 1 X 12 X 1 X 1n X k1 X k2 X kn
经典回归模型(classical regression model)建立在 如下假设之上：
E(b*|X)=E[C’(X+)|X]=C’X+C’E(|X)=C’X b*是无偏的当且仅当C’X=I 于是 b*=C’Y=C’(X+)=C’X+C’=+C’ b*-=C’ 则 Var(b*|X)=E[(b*-)(b*-)’|X]=E[C’’C|X] =C’E(’|X)C=C’2IC=2C’C 于是 Var(b*)-Var(b)= 2C’C- 2(X’X)-1 = 2[C’C-C’X(X’X)-1X’C] = 2C’[I-X(X’X)-1X’]C= 2C’MC = 2C’M’MC= 2(MC)’(MC) = 2D’D= positive semi-definite
(3) R2是解释变量数目Xi的非递减函数。 Proof: 记 Yi=Xi’+ui (i) 对应 R2 Yi=Xi+’++vi (ii) 对应R+2 其中，Xi=(1,X1i,…Xki)’, Xi+=(1,X1i,…Xki,…Xk+q,i)’ 求解min SSR()可看成在k+1=…=k+q=0的约束下 求解min SSR(+)。 有约束的(i)的残差平方和不会小于无约束的(ii)的 残差平方和：e+’e+e’e
六、测度拟合优度 Measuring Goodness of Fit
Question: How well does the linear regression model fit the data? That is, how well does the linear regression model explain the variation of the observed data?
假设4（Spherical error variance） (a) [conditional homoskedasticity]: E(i2|X)=2>0, i=1,2,…,n (b) [conditional serial uncorrelatedness]: E(ij|X)=0, i, j=1,2,…,n