普通最小二乘法（Ordinary least squares, OLS ）给出的判断标准是：二者之差的平方和最小。

称为OLS 估计量的离差形式（deviation form ）。

称为样本回归函数的离差形式。

对于最大或然法，当从模型总体随机抽取n 组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n 组样本观测值的概率最大。

在满足基本假设条件下，对一元线性回归模型：于是，Y 的概率函数为或然函数(likelihood function)为：∑∑+-=-=nii i n i X Y Y Y Q 121021))ˆˆ(()ˆ(ββ⎪⎪⎩⎪⎪⎨⎧∑-∑∑∑-∑=∑-∑∑∑-∑∑=2212220)(ˆ)(ˆi i i i i i i i ii i i i X X n X Y X Y n X X n X Y X Y X ββ⎪⎩⎪⎨⎧-=∑∑=XY x y x ii i 1021ˆˆˆβββi i x y 1ˆˆβ=i i i X Y μββ++=10),ˆˆ(~210σββii X N Y +2102)ˆˆ(2121)(i i X Y i eY P ββσπσ---=),,,(),ˆ,ˆ(21210n Y Y Y P L ⋅⋅⋅=σββ21022)ˆˆ(21)2(1i i nX Y neββσσπ--∑-=高斯—马尔可夫定理(Gauss-Markov theorem)在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。

普通最小二乘估计量（ordinary least Squares Estimators）称为最佳线性无偏估计量（best linear unbiased estimator, BLUE）σ2的最小二乘估计量为它是关于σ2的无偏估计量。

212*)ˆˆ(21)2ln()ln(iiXYnLLββσσπ--∑--==⎪⎪⎩⎪⎪⎨⎧∑-∑∑∑-∑=∑-∑∑∑-∑∑=221222)(ˆ)(ˆiiiiiiiiiiiiiXXnXYXYnXXnXYXYXββ),(~ˆ2211∑i xNσββ),(~ˆ222σββ∑∑iixnXN∑=22ˆ/1ixσσβ∑∑=222ˆiixnXσσβ2ˆ22-=∑neiσ因此， σ2的最大或然估计量不具无偏性，但却具有一致性。

TSS=ESS+RSSY 的观测值围绕其均值的总离差(total variation)可分解为两部分：一部分来自回归线(ESS)，另一部分则来自随机势力(RSS)。

拟合优度：回归平方和ESS/Y 的总离差TSS称 R 2 为（样本）可决系数/判定系数（coefficient of determination)。

可决系数的取值范围：[0，1]R 2越接近1，说明实际观测点离样本线越近，拟合优度越高。

1ˆβ的样本方差：∑=222ˆˆ1ix S σβ1ˆβ的样本标准差： ∑=2ˆˆ1ix S σβ0ˆβ的样本方差：∑∑=2222ˆˆ0i i x n X S σβˆβ的样本标准差： ∑∑=22ˆˆ0i ix n XS σβTSS RSSTSS ESS R -==1记2⎪⎪⎭⎫ ⎝⎛=∑∑22212ˆi i y xRβ)2(~ˆˆ--=n t s t iii βββααα-=<<-1)(22t t t P于是得到:(1-α)的置信度下, βi 的置信区间是Ŷ0是条件均值E(Y|X=X 0)的无偏估计。

在1-α的置信度下，总体均值E(Y|X 0)的置信区间为在1-α的置信度下， Y 0的置信区间为∑-=2210/)ˆ,ˆ(i x X Cov σββ)))(1(,(~ˆ22020100∑-++ix X X n X N Y σββ022ˆ00ˆ0ˆ)|(ˆYY S t Y X Y E S t Y ⨯+<<⨯-αα),(~20100σββX N Y +)))(11(,0(~ˆ220200∑-++-ix X X n N Y Y σ0022ˆ000ˆ0ˆˆYY Y Y S t Y Y S t Y --⨯+<<⨯-αα)ˆ,ˆ(ˆˆ22ii s t s t i i ββααββ⨯+⨯-要缩小置信区间，需 （1）增大样本容量n（2）提高模型的拟合优度总体回归模型n 个随机方程的矩阵表达式为其中样本回归函数的矩阵表达:或其中：μX βY +=)1(212221212111111+⨯⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=k n kn nnk k X XX X X XXX X ΛM MM M ΛΛX 1)1(210⨯+⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=k k ββββM β121⨯⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n n μμμM μβX Y ˆˆ=e βX Y +=ˆ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=k βββˆˆˆˆ10M β⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=n e e e M 21e Y X βX)X ('='ˆ样本回归函数的离差形式其矩阵形式为其中 ：在离差形式下，参数的最小二乘估计结果为随机误差项μ的方差的无偏估计量为从统计检验的角度：n >30 时，Z 检验才能应用； n -k ≥8时, t 分布较为稳定 一般经验认为:当n ≥30或者至少n ≥3(k +1)时，才能说满足模型估计的基本要求。

Y X X X β''=-1)(ˆ0e X ='i ki k i i i e x x x y ++++=βββˆˆˆ2211Λe βx y +=ˆ⎪⎪⎪⎪⎪⎭⎫⎝⎛=n y y y M21y ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=kn nn k k x x x x x x x x x ΛΛΛΛΛΛΛ212221212111x ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=k βββˆˆˆˆ21M βY x x x β''=-1)(ˆk k X X Y βββˆˆˆ110---=Λ11ˆ22--'=--=∑k n k n e iee σ调整的思路是:将残差平方和与总离差平方和分别除以各自的自由度，以剔除变量个数对拟合优度的影响:其中：n -k -1为残差平方和的自由度，n -1为总体平方和的自由度。

服从自由度为(k , n -k -1)的F 分布给定显著性水平α，可得到临界值F α(k,n -k -1)，通过F > F α(k,n -k -1) 或 F ≤F α(k,n -k -1)来拒绝或接受原假设H 0或)1/()1/(12----=n TSS k n RSSR 11)1(122-----=k n n R R )1/(/--=k n RSS kESS F 12)()ˆ(-'=X X βσCov kFk n n R +----=1112)1/()1(/22---=k n R kR F以c ii 表示矩阵(X’X)-1 主对角线上的第i 个元素，于是参数估计量的方差为：给定显著性水平α，可得到临界值t α/2(n -k -1)，由样本求出统计量t 的数值，通过 |t|> t α/2(n -k -1) 或 |t|≤t α/2(n -k -1) 来拒绝或接受原假设H 0一元线性回归中，t 检验与F 检验一致一方面，t 检验与F 检验都是对相同的原假设H 0：β1=0 进行检验; 另一方面，两个统计量之间有如下关系：如何才能缩小置信区间？ 增大样本容量n提高模型的拟合优度 提高样本观测值的分散度iii c Var 2)ˆ(σβ=),(~ˆ2iii i c N σββ)1(~1ˆˆˆ----'--=k n t k n c S t iiii i iie e βββββ222212221222122212212ˆ)2(ˆ)2(ˆ)2(ˆ)2(ˆt x n ex n e x n e n e x n e y F i ii iii i ii i=⎪⎪⎭⎫ ⎝⎛⋅-=⎪⎪⎪⎭⎫ ⎝⎛-=-=-=-=∑∑∑∑∑∑∑∑∑∑ββββ得到(1-α)的置信水平下E(Y 0)的置信区间：e 0服从正态分布，即给定(1-α)的置信水平下Y 0的置信区间：受约束样本回归模型为e’e 为无约束样本回归模型的残差平方和RSS U 受约束与无约束模型都有相同的TSS RSS R ≥ RSS U ESS R ≤ ESS U通常情况下，对模型施加约束条件会降低模型的解释能力。

),(~ˆ020X X)X (X βX 100''-σN Y )1(~ˆˆ--''--k n t )E(Y Y 00010X X)X (X σ010000100)(ˆˆ)()(ˆˆ22X X X X X X X X ''⨯+<<''⨯---σσααt Y Y E t Y )))(1(,0(~01020X X X X ''+-σN e 010000100)(1ˆˆ)(1ˆˆ22X X X X X X X X ''+⨯+<<''+⨯---σσααt Y Y t Y **ˆe βX Y +=)1,(~)1/()/()(-------=U R U U U R U U R k n k k F k n RSS k k RSS RSS F基本假定违背：不满足基本假定的情况。

主要包括：（1）随机误差项序列存在异方差性；（2）随机误差项序列存在序列相关性；（3）解释变量之间存在多重共线性；（4）解释变量是随机变量且与随机误差项相关（随机解释变量）；此外：（5）模型设定有偏误（6）解释变量的方差不随样本容量的增而收敛异方差性的后果1、参数估计量非有效OLS估计量仍然具有无偏性，但不具有有效性而且，在大样本情况下，尽管参数估计量具有一致性，但仍然不具有渐近有效性。

2、变量的显著性检验失去意义其他检验也是如此。

3、模型的预测失效一方面，由于上述后果，使得模型不具有良好的统计性质；所以，当模型出现异方差性时，参数OLS估计值的变异程度增大，从而造成对Y的预测误差变大，降低预测精度，预测功能失效。

G-Q检验的步骤：①将n对样本观察值(X i,Y i)按观察值X i的大小排队②将序列中间的c=n/4个观察值除去，并将剩下的观察值划分为较小与较大的相同的两个子样本，每个子样样本容量均为(n-c)/2③对每个子样分别进行OLS回归，并计算各自的残差平方和实际经济问题中的序列相关性1、经济变量固有的惯性2、模型设定的偏误3、数据的“编造”序列相关性的后果 1、参数估计量非有效2、变量的显著性检验失去意义3、模型的预测失效序列相关性的检验 基本思路:然后，通过分析这些“近似估计量”之间的相关性，以判断随机误差项是否具有序列相关性。