2简单线性回归模型
◆ 确定性的函数关系: Y f (X ) ◆不确定性的统计关系—相关关系
Y f (X ) u (u为随机变量)
◆ 没有关系
2.相关关系
◆ 相关关系的描述
相关关系最直观的描述方式——坐标图(散布图)
◆相关关系的类型
Y
• •
• •• • •
• • •
从涉及的变量数量看:
简单相关、多重相关(复相关)
xi
n
E(ui ) 1
i1
xi2
i 1
说明b1是β1的无偏估计。
(2)b0 Y b1X
Eb0 E Y b1X E
Yi n
b1X
E
0
1
n
X
i
ui
b1 X
0
1X
n
E(ui )
X
E (b1 )
n0
n
1
X
n 1X
0 说明 b0是 0 的无偏估计量。
◆ 最小二乘估计量b的方差
n
(1) b1 1
xi
n
n
ui 1 wiui
i1
xi2
i 1
i 1
n
则: Var(b1 ) E(b1 1 )2 E( wiui )2
i 1
E(w1u1 w2u2 wnun )2
E(w12u12 w22u22 wn2un2 2w1w2u1u2 2w1w3u1u3
估计式为:
S
2 e
ei2 n2
称为回归标准误差,为随机扰动项u的方差的无偏估计,即
E
(S
2 e
)
2 u
方差最小性(有效性,最佳性)的证明在K元回归模型 分析中给出。
有关思考
◆由最小二乘法所得直线能够对这些数据点之间的关系 加以反映吗?
◆对数据点之间的关系或趋势反映到了何种程度? ◆在统计上如何验证所得一元回归模式的可靠程度。
E(b0 ) 0
E(b1) 1
Var(b0 ) ?
Var(b1) ?
3、方差最小性(Best) Var(bi ) Var(bi*)
4、b服从正态分布 b1 ~ N (1 , Var(b1))
b0 ~ N (0 , Var(b0 ))
❖ 点估计的方法有多种。但最小二乘法(高斯-马尔 科夫定理)保证:
ESS Yˆi Y 2
RSS Y iYˆi 2 ui2
TSS=Total Sum of Squares
ESS=Explained Sum of Squares RSS=Residual Sum of Squares
TSS度量Y自身的变异程度,ESS度量X对Y拟合值的变 异程度,RSS度量实际值与拟合值之间的差异程度。
n XY X Y
Cov(X ,Y )
[n X 2 ( X )2 ][n Y 2 ( Y )2 ] Var (X ) Var (Y )
◆ 简单相关系数用来测度两个变量之间是否存在线性相关 关系,其变化范围在 [-1,1] 之间。越接近于-1,负相关 程度越高;越接近1,正相关程度越高。
◆平方和的分解
TSS (Yi Y )2
(Yi Yˆi ) (Yˆi Yi ) 2
(Yi Yˆi )2 2 Yi Yˆi Yˆi Y (Yˆi Y )2
(Yi Yˆi )2 (Yˆi Y )2 2 (Yi Yˆi )(Yˆi Y )
RSS ESS 2 (Yi Yˆi )(Yˆi Y )
(2)个别值表现形式
E(Y Xi ) Yi
ui
•
对于一定的 X i ,Y 的各个别值 Yi 分布 在 E(Y Xi ) 的周围,若令各个 Yi 与条件
Xi X
均值 E(Y
Xi ) 的偏差为
ui ,
显然
u
是随机变量,则有
i
ui Yi E(Yi Xi ) Yi 1 2 Xi
3、样本回归函数(SRF)
◆ Y 的条件期望
对于X 的每一个取值,
Y
对 Y 所形成的分布确 定其期望或均值,称
为Y 的条件期望或条 件均值 E(Y Xi )
Xi
X
2.总体回归函数的表现形式
(1)条件均值表现形式
假如 Y 的条件均值 E(Y Xi ) 是解
Y
释变量 X 的线性函数,可表示为:
•
E(Yi Xi ) f (Xi ) 1 2 Xi
(Sample Regression Function, SRF)
实际的经济研究中总体回归函数通常是未知的,只能根 据经济理论和实践经验去设定。“计量”的目的就是寻求 样本回归函数作为总体回归函数的估计。
注意几个概念
◆ Y 的条件分布
当解释变量X取某固定值时(条件),Y 的值不确定,Y 的不同取值形成一定的分布,即 Y 的条件分布。
能说明相关关系具体接近哪条直线.
计量经济学关心:变量间的因果关系及隐藏在随机性后 面的统计规律性,这有赖于回归分析方法.
4.回归分析
◆ 回归的古典意义: 道尔顿遗传学的回归概念: 父母身高与子女
身高的关系。 ◆ 回归的现代意义:
一个因变量对若干解释变量依存关系的研究。
◆ 回归的目的(实质): 由固定的解释变量去估计因变量的平均值。
由最小二乘法得到的估计量是线性无偏的估计 量,而且是一个最好的估计量。即最小二乘估计量 (OLSE)具有BLUE性质。
❖ BLUE:Best Linear Unbias Estimator
◆最小二乘估计量b的线性性
令 xi X i X , yi Yi Y
wi
n
n
n
n XiYi Xi Yi
xi2
则:b1 wiYi
b0
(1 n
wi
X
)
Yi
w 的性质:
(1) wi 0
(2)
wi2
1 xi2
(3) wi xi 1
(4) wi X i 1
w 证明: (1)
0
i
wi
xi
xi2
(Xi (Xi
X X
) )2
0
XiX
2
wi 0
(2)
w2 i
1
XiX
2
2
第二章
简单线性回归模型
学习要点
一、简单线性回归模型的设定 二、简单线性回归模型的基本假定 三、简单线性回归模型参数的估计方法 四、参数估计量的统计性质 五、拟合优度的度量 六、回归系数的区间估计和假设检验 七、回归模型预测 八、EViews应用
一、一元线性回归模型
( 一)回归与相关关系
1. 经济变量间的相互关系
异方差
X
f (u) Y
X1 X2 X3
同方差
Yˆ 0 1X
X
(三)一元线性回归模型参数最小二乘估 计量(OLSE)的性质
一元线性 回归模型
样本估计 量的性质
Y 0 1X u
Y b0 b1X e
总体回归模型 样本回归模型
1 、估计量是线性的(Linear);
2、估计量是无偏的(Unbias)估计量(Estimator)
(Yi Yˆi )(Yˆi Y ) ui (Yˆi Y ) uiYˆi uiY uiYˆi Y ui 0 Y 0 0
TSS RSS ESS
◆ 平方和分解的意义
❖ TSS=ESS+RSS ❖ 被解释变量 Y 总的变动=
解释变量 X 对 Y 引起的变动 + 除 X 以外的因素引起的变动 ❖ 如果 X 引起的变动在 Y 的总变动中占很大比例,那么 X 很好地解释了 Y;否则,X 不能很好地说明 Y。
◆ 除过简单相关系数,还有偏相关系数、复相关系数来测 度变量间的相关关系,但是在含义上有差别。
使用相关系数时应注意
◆X 和Y 都是相互对称的随机变量; ◆线性相关系数只反映变量间的线性相关程度,不能说明
非线性相关关系; ◆样本相关系数是总体相关系数的样本估计值,因抽样
波动,样本相关系数为随机变量,其统计显著性有待检验; ◆相关系数只能反映线性相关程度,不能确定因果关系,不
(二)一元线性回归模型
1. 一元线性回归模型设定
一元线性总体回归模型: Y 0 1X u 一元线性总体回归函数:E(Y X ) 0 1X
(Population Regression Function, PRF)
一元线性样本回归模型:Y b0 b1X e
一元线性样本回归函数: E(Y X ) b0 b1X
◆ 拟合优度的定义:
TSS RSS ESS 1 RSS ESS
TSS TSS
R2 ESS 1 RSS
TSS
TSS
◆ 意义:拟合优度越大,自变量对因变量的解释程度越高, 自变量引起的变动占总变动的百分比高。观察点在回归 直线附近越密集。
xi2 xi2
1
◆ 最小二乘估计量b的无偏估计量
n
(1)b1
xi
n
n
Yi
xi
n
(0 1X i ui )
i1
xi2
i1
xi2
i 1
i 1
n
0
xi
n
n
1
xi
n
n
Xi
xi
n
n
ui 1
xi
n
ui
i1
xi2
i1
xi2
i1
xi2
பைடு நூலகம்
i1
xi2
i 1
i 1
i 1
i 1
则
n
E(b1) 1
(二)关于线性回归模型的基本假定
1、X是固定变量(若X随机,须 与u不相关)
拟合值与u不相关
2、u不存在 自相关