当前位置:文档之家› 二元线性回归模型及参数估计

二元线性回归模型及参数估计

二元线性回归模型的估计
最简单的多元线性回归模型是二元线性回归模型, 即具有一个被解释变量和两个解释变量的线性回归模 型:
Yi 0 1X1i 2X2i i , i=1,2,…,n 。
一、二元线性回归模型的参数估计
1.偏回归系数的估计
对于二元线性回归模型:
Yi 0 1X1i 2X2i i ,i=1,2,…,n ,
x
2i
)2
偏回归系数 ˆ1 、ˆ2 的标准误差计算公式为:
Se(ˆ1) Var(ˆ1)
Se(ˆ2 ) Var(ˆ2 )
二、Beta系数和弹性系数
在多元回归分析中,需要说明各个解释变量 的相对重要性,或者比较被解释变量对各个解释 变量的敏感性。
然而,偏回归系数与变量的原有计量单 位有直接联系,计量单位不同,彼此不能直 接比较。 为此,需要引进Beta系数和弹性系数。
例如 1 1.78 ,2 0.45 ,则表示:在样本均值附近,X1 每 增加 1%,将使被解释变量 Y 增加 1.78%;而 X2 每增加 1%, 将使被解释变量 Y 增加 0.45%,所以,被解释变量 Y 对于解 释变量 X1 变化的敏感程度远大于对解释变量 X2 变化的敏感 程度。
1.Beta系数
Beta系数是由偏回归系数转换来的。

ˆ
j
表示
Beta
系数,则
ˆ
j

ˆ j
S Xj SY

ˆ j
x2ji yi2
其中
SXj
x2ji n 1
(X ji Xi)2 n 1
SY
yi2 n 1
(Yi Y )2 n 1
可见,Beta系数是用解释变量标准差(SXj)和被解释变 量标准差(SY)的比例对估计的偏回归系数进行调整后 得到的,其数值与变量的单位无关,因而可以直接比较, 用于说明多元回归模型中解释变量的相对重要性。
2.弹性系数
弹性系数是某一变量的相对变化引起另一变量的相对 变化的度量,即变量的变化率之比。
用 j 表示弹性系数,则

j

dY Y
dX j Xj

dY dX j

Xj Y

ˆ
j
Xj Y
平均弹性是指在样本均值附近的弹性,即
j
ˆ j
Xj Y
弹性系数与原解释变量的计量单位没有任何关系,因此 很适宜用来说明被解释变量对解释变量变化的敏感程度。
Y
变化ˆ
j
个标准差(即
Y

ˆ
j
SY
)。
例如 ˆ1 1.02,ˆ2 0.24 ,则表示:解释变量 X1 变化 1 个
标准差,将引起被解释变量 Y 变化 1.02 个标准差;解释变 量 X2 变化 1 个标准差,将引起被解释变量 Y 变化 0.24 个标 准差。因此,可以说,Y 对于 X1 变化的敏感程度远大于 Y 对于 X2 变化的敏感程度。

1 n

X
i
,Y

1 n

Yi

如果 X1 与 X2 之间存在线性关系,那么,上述计算ˆ1 、ˆ 2
的公式的分子、分母将变为 0,从而无法求解。
2.随机误差项i 的方差 2 的无偏估计 ˆ 2 ei2
n3
其中, ei2 的简捷计算公式为
ei2 yi2 ˆ1yix1i ˆ2yix2i
rYX 1 rYX 2 r X 1 X 2
(1
rY2X
2
)( 1
r
2 X
1
X
2
)
如果 rYX1X2 > rYX2X1 ,则表示被解释变量 Y 与解释变量 X1 之间的线性关系更密切,被解释变量 Y 对于解释变量 X1 的 变化更敏感;
如果 rYX1X2 < rYX2X1 ,则表示被解释变量 Y 与解释变量 X2 之间的线性关系更密切,被解释变量 Y 对于解释变量 X2 的 变化更敏感。
2i
)(
x
1i
x
2i
)
(
x2
1i
)(
x2
2i
)

(
x
1i
x
2i
)2

ˆ2


(
yi x2i )( x12i ) ( yi x1i )( x1i x2i ) ( x12i )( x22i ) ( x1i x2i )2
其中, xi Xi X , yi Yi Y ,X
3.偏回归系数ˆ1 、ˆ2 的方差和标准误差
偏回归系数 ˆ1 、ˆ2 的方差计算公式为:

Var(
ˆ1)


(
x12i
( x22i )ˆ 2
)( x22i ) (
x1i x2i
)2


Var(ˆ )

2


(
x2
1i
(
x2
1x2
2i
)

(
x
1i
3.偏相关系数
在二元线性回归分析中,也可以用偏相关系数来分析 被解释变量Y对于哪一个解释变量(X1和X2)的变化 更敏感。
偏相关系数:是指在控制或消除其他变量影响的情况 下,衡量多个变量中的某两个变量之间线性相关程度 的指标。
当 X2 保持不变时,Y 与 X1 之间的偏相关系数为
rYX 1 X 2
其中的参数 0 、 1 、 2 称为偏回归系数。
所谓偏回归系数,是指多元线性回归模型中解释变量前 的系数。其含义是:当其他解释变量保持不变时,某一解释 变量变化一个单位而使被解释变量Y平均改变的数值,即某一 解释变量对被解释变量Y的影响程度。
要估计二元线性回归模型 Yi 0 1X1i 2X2i i 中的 参数 0 、 1 、 2 ,常用的方法仍然是普通最小二乘法。

ˆ0

ˆ1X1i

ˆ2i
X 2i
)2
i1 i1
i 1
达到最小。
根据极值存在的必要条件,应该有



ei2

ˆ0
2 (Yi
ˆ0
ˆ1X1i
ˆ2 X 2i ) 0


ei2
ˆ1
2 (Yi
ˆ0
ˆ1X1i
ˆ2 X 2i )X1i
对于二元线性回归模型,可以按下列公式计算Beta系数:
ˆ1 ˆ1
x12i yi2
ˆ2 ˆ2
x22i yi2
由于 Y ˆ jX j ˆjSY ˆ jSXj
所以,Beta
系数ˆ
j
的含义是:若解释变量
Xj
变化
1
个标准
差(即X j SXj),则被解释变量
设根据给定一组样本数据( Yi,X1i,X2i),i=1,2,…, n , 采用普通最小二乘法估计得到的样本回归模型为
Yi ˆ0 ˆ1X1i ˆ2X2i ei ,则参数估计量 ˆ 0 、 ˆ1 、ˆ 2 应
该使 残差平方和
n

ei2
n (Yi
Yˆi )2
n (Yi
0




ei2

ˆ2
2 (Yi
ˆ0
ˆ1X1i
ˆ2 X 2i )X 2i
0
从而得到正规方程组

(Yi

ˆ0

ˆ1X1i

ˆ2 X 2i )

0

(Yi

ˆ0

ˆ1X1i

ˆ2 X 2i )X1i

0


(Yi ˆ0 ˆ1X1i ˆ2 X 2i )X 2i 0
ei 0 ei X 1i 0 ei X 2i 0
如果 X1 与 X2 之间不存在线性关系,那么,由上述正规方程
组可以解出ˆ0 、 ˆ1 、ˆ 2 :


ˆ0 Y ˆ1X1 ˆ2 X 2

ˆ1


(
y
i
x
1i
)(
x2
2i
)

(
y
i
x
相关主题