当前位置:文档之家› (优选)线性回归模型的异方差问题

(优选)线性回归模型的异方差问题

同方差的含义:每个Y值以相同的方差分布在其均值周 围,即Y偏离其均值的程度相同。
Y
+u E(Y|X)=α+β*X
+u +u
-u -u -u
Y
+u
+u
+u -u
-u -u
0
X
E(Y|X)=α+β*X
同方差(homoscedasticity)
0
X
异方差(heteroscedasticity)
一元线性回归分析-回归的假定条件
y bx
一元线性回归分析-总结(最小二乘法的优良性质 )
➢残差之和为零 e 0
➢所拟合直线通过样本散点图的重心 (x, y)
➢误差项与解释变量不相关 (e e)(x x) 0
➢a与b分别是总体回归系数的无偏估计量
E(a) E(b)
➢a与b均为服从正态分布的随机变量
2 x2 a ~ N (, (x x)2 ), b ~ N ( ,
从残差图可以看出:残差的绝对值随着销售额的 增加而增加。
尽管残差ei与扰动项ui是两个不同的概念,根据ei 的变化并不能断言ui的方差也是变化的。但是,实践 中很难观察到ui,只能利用检验ei的变动来推断ui的 变化。
问题:如何理解残差ei与扰动项ui两个概念的差 别?
9.3 异方差的后果
如果CLRM其它假设保持不变,放松同方差假定,允 许扰动项方差随观察值而异,异方差有如下后果: 1、OLS估计量仍是线性的。 2、OLS估计量仍是无偏的。 3、OLS估计量不再具有最小方差性,即不再是有效的。 4、根据常用估计OLS估计量方差的公式得到的方差通常 是有偏的,无法先验地辨别偏差是正的还是负的。如果 OLS高估了估计量的真实方差,则产生正的偏差,如果 OLS低估了估计量的真实方差,则产生负的偏差。
2 y a x
x
0
一元线性回归分析-总结(回归系数的计算公式)
整理得到由两个关于a、b的二元一次方程组成的方程组:
y na bx
xy
ax
bx2
进一步整理,有:
b
xi yi xi2
( X i X )(Yi Y ) ( Xi X )2
a
y
n
b
x n
2
(x x)2 )
一元线性回归分析-总结(相关系数与回归系数的差别)
b与r的关系:
r>0 r<0 r=0 b>0 b<0 b=0
r b Sx ; b r Sy
Sy
Sx
一元线性回归分析-回归的假定条件
假定1 回归模型参数是线性的,但不一定是变量线性 的,回归模型形式如下:
y xu
假定2 解释变量X与扰动误差项u不相关。但是,如果 X是非随机的,则该假定自然满足。
9.2 异方差的性质
例9.1 美国创新研究:销售对研究与开发的影响 R&^ D = 266.2575 + 0.030878*Sales
se=(1002.963) (0.008347) t =(0.265471) (3.699508) p =(0.7940) (0.0019) R2 = 0.461032
一元线性回归分析-回归的假定条件
假定3 给定X,扰动误差项u的数学期望或均值为0, 即E(u|X)= 0。
Y
+u E(Y|X)=α+β*X
+u
+u -u
-u -u
0
X
一元线性回归分析-回归的假定条件
假定4 误差扰动项u的方差为常数,即Var(u)=σ2,称
之为同方差(homoscedasticity)
9.3 异方差的后果
9.2 异方差的性质
例9.1 美国创新研究:1988年美国研究与开发费用支出
Sales 6375.3 11626.4 14665.1 21869.2 26408.3 32405.6 35107.7 40295.4 70761.6
R&D 62.5 92.9 178.3 258.4 494.7 1083.0 1620.6 421.7 509.2
计量经济学讲义
(优选)线性回归模型的异方差问题
1
安徽大学经济学院
一元线性回归分析-总结(回归系数的计算方法)
一元线性回归方程 中参数a、b的确定:
yˆ a bx
最小二乘法 基本数学要求: ( y yˆ)2 min
由 ( y yˆ)2 min,有 y a bx2 min,
分别对函数中a、b求偏导数,并令其为零,有
Profit 185.1 1596.5 276.8 2828.1 2225.9 3751.9 2884.1 4645.7 5036.4
Sales R&D Profit 80552.8 6620.1 13869.9 95249.0 3918.6 4487.8 101314.1 1595.3 10278.9 116141.3 6107.5 8787.3 122315.7 4454.1 16438.8 141649.9 3163.8 9761.4 175025.8 13210.7 19774.5 241434.8 1703.8 23168.5 293543.0 9528.2 18415.4
从回归结果可以看出: (1)随着销售额的增加,R&D也逐渐增加,即销售 额每增加一百万美元,研发相应的增加3.1 万美元。 (2)随着销售额的增加,R&D支出围绕样本回归线 的波动也逐渐变大,表现出异方差性。
9.2 异方差的性质-方程回归结果图
9.2 异方差的性质-残差与观察值(销售额)关系图
9.2 异方差的性质
假定5 无自相关假定,即两个误差项之间不相关。 Cov(ui,uj) = 0。
ui
ui
ui
uj
正相关
uj
负相关
uj
不相关
一元线性回归分析-回归的假定条件
假定6 回归模型是正确设定的,即实证分析的模型不 存在设定误差或设定错误。
假定7 在总体回归函数中, y x u
误差项u服从均值为0,方差为σ2的正态分布。即 u ~ N(0,σ2)
中心极限定理 独立同分布的随机变量,随着变量个 数的无限增加,其和的分布近似服从正态分布。
异方差性-回归问题的引入
虽然古典线性回归模型强调了同方差假定,但在实践 中无法保证总能够满足。本章内容就是讨论同方差假 定不满足条件下,回归模型可能会出现的问题,以及 如何解决问题:
1. 异方差有什么性质? 2. 异方差的后果是什么? 3. 如何诊断存在异方差? 4. 如果存在异方差,如何解决?
相关主题