二元线性回归模型及参数估计
其中的参数 0 、 1 、 2 称为偏回归系数。
,
所谓偏回归系数,是指多元线性回归模型中解释变量前 的系数。其含义是:当其他解释变量保持不变时,某一解释 变量变化一个单位而使被解释变量Y平均改变的数值,即某一
解释变量对被解释变量Y的影响程度。
要估计二元线性回归模型 Yi 0 1X1i 2 X 2i i 中的 参数 0 、 1 、 2 ,常用的方法仍然是普通最小二乘法。
2
rYX
1
rYX
2
2
rX X 1
2
2 ( 1 rYX
2 )( 1 r X X ) 1 2
如果 rYX X > rYX X ,则表示被解释变量 Y 与解释变量 X1 1 2 2 1 之间的线性关系更密切,被解释变量 Y 对于解释变量 X1 的 变化更敏感; 如果 rYX X < rYX X ,则表示被解释变量 Y 与解释变量 X2 1 2 2 1 之间的线性关系更密切,被解释变量 Y 对于解释变量 X2 的 变化更敏感。
x
ˆ ˆ 2 2
x
2 2i 2 yi
由于
ˆ Y j X j
ˆ ˆ SY j S Xj j
的含义是:若解释变量 Xj 变化 1 个标准 所以,Beta 系数 ˆ j
ˆ 差(即 X j SXj ) ,则被解释变量 Y 变化 个标准差(即 j
二元线性回归模型的估计
最简单的多元线性回归模型是二元线性回归模型, 即具有一个被解释变量和两个解释变量的线性回归模 型:
Yi 0 1X1i 2X2i i ,
i=1,2,…,n 。
一、二元线性回归模型的参数估计
1.偏回归系数的估计
对于二元线性回归模型:
Yi 0 1X1i 2 X2i i ,i=1,2,…,n
例如 1 1.78 ,2 0.45 ,则表示:在样本均值附近,X1 每 增加 1%,将使被解释变量 Y 增加 1.78%;而 X2 每增加 1%, 将使被解释变量 Y 增加 0.45%,所以,被解释变量 Y 对于解 释变量 X1 变化的敏感程度远大于对解释变量 X2 变化的敏感 程度。
ˆ Y SY ) 。 j
ˆ ˆ 1 1.02 ,2 0.24 ,则表示:解释变量 X1 变化 1 个 例如
标准差,将引起被解释变量 Y 变化 1.02 个标准差;解释变 量 X2 变化 1 个标准差,将引起被解释变量 Y 变化 0.24 个标 准差。因此,可以说,Y 对于 X1 变化的敏感程度远大于 Y 对于 X2 变化的敏感程度。
其中, e i2 的简捷计算公式为
2 2 ˆ ˆ e y y x y x i i 1 i 1 i 2 i 2i
ˆ 3.偏回归系数ˆ1 、 2 的方差和标准误差
ˆ ˆ 偏回归系数 1 、 2 的方差计算公式为:
ˆ ( x 2 ) 2 2i ˆ Var ( ) 1 ( x 2 )( x 2 ) ( x x ) 2 1i 2i 1i 2i ˆ ( x 2 ) 2 1i ˆ ) Var ( 2 ( x 2 )( x 2 ) ( x x ) 2 1i 2i 1i 2i
达到最小。
根据极值存在的必要条件,应该有
e2 i 2 (Y ˆ i 0 ˆ 0 2 ei ˆ 2 (Yi 0 ˆ 1 e2 i 2 (Y ˆ i 0 ˆ 2 ˆ ˆ 1 X1i 2 X 2i ) 0
1 1 其中, xi Xi X , yi Yi Y , X X i ,Y Yi 。 n n
如果 X1 与 X2 之间存在线性关系,那么,上述计算ˆ1 、ˆ 2
的公式的分子、分随机误差项
2 2 ei ˆ n3
2.弹性系数
弹性系数是某一变量的相对变化引起另一变量的相对 变化的度量,即变量的变化率之比。
用 j 表示弹性系数,则
dY j Y dX j dY X j ˆ X j j X j dX j Y Y
平均弹性是指在样本均值附近的弹性,即
ˆ j j X j Y
弹性系数与原解释变量的计量单位没有任何关系,因此 很适宜用来说明被解释变量对解释变量变化的敏感程度。
3.偏相关系数
在二元线性回归分析中,也可以用偏相关系数来分析 被解释变量Y对于哪一个解释变量(X1和X2)的变化 更敏感。 偏相关系数:是指在控制或消除其他变量影响的情况 下,衡量多个变量中的某两个变量之间线性相关程度 的指标。
当 X2 保持不变时,Y 与 X1 之间的偏相关系数为
rYX X 1
2
n 1
可见,Beta系数是用解释变量标准差(SXj)和被解释变 量标准差(SY)的比例对估计的偏回归系数进行调整后 得到的,其数值与变量的单位无关,因而可以直接比较, 用于说明多元回归模型中解释变量的相对重要性。
对于二元线性回归模型,可以按下列公式计算Beta系数:
ˆ ˆ 1 1 2 1i 2 yi
ei 0
e i X 1i 0 ei X 2 i 0
如果 X1 与 X2 之间不存在线性关系,那么,由上述正规方程
ˆ ˆ ˆ 组可以解出 0 、 1 、 2 :
ˆ ˆ ˆ Y X X 1 1 2 2 0 ( y x )( x 2 ) ( y x )( x x ) ˆ i 1i 2i i 2i 1i 2i 1 ( x 2 )( x 2 ) ( x x ) 2 1i 2i 1i 2i ( y x )( x 2 ) ( y x )( x x ) ˆ i 2i 1i i 1i 1i 2i 2 ( x 2 )( x 2 ) ( x x ) 2 1i 2i 1i 2i
1.Beta系数 Beta系数是由偏回归系数转换来的。
ˆ 用 表示 Beta 系数,则 j
ˆ ˆ j j
x ji
S Xj SY
ˆ j
2
x ji yi
2
2
yi
其中
2
S Xj
n 1
( X ji X i )
2
n 1
SY
n 1
(Yi Y )
i=1 设根据给定一组样本数据( Y i, X 1i, X 2i), ,2 ,…, n , 采用普通最小二乘法估计得到的样本回归模型为
ˆ ˆ ˆ ˆ ˆ Yi 0 1X1i 2 X 2i ei ,则参数估计量 0 、 ˆ1 、 2 应
该使 残差平方和
n 2 n n ˆ ˆ ˆ ˆi ) 2 (Yi 0 1 X1i 2i X 2i ) 2 ei (Yi Y i 1 i 1 i 1
ˆ ˆ 1 X1i 2 X 2i ) X1i 0
ˆ ˆ 1 X1i 2 X 2i ) X 2i 0
从而得到正规方程组
ˆ ˆ ˆ (Yi 0 1 X1i 2 X 2i ) 0 ˆ ˆ ˆ (Yi 0 1 X1i 2 X 2i )X1i 0 ˆ ˆ ˆ (Yi 0 1 X1i 2 X 2i )X 2i 0
ˆ ˆ 偏回归系数 1 、 2 的标准误差计算公式为:
ˆ ˆ Se( 1) Var ( 1) ˆ ˆ Se( 2 ) Var ( 2 )
二、Beta系数和弹性系数
在多元回归分析中,需要说明各个解释变量 的相对重要性,或者比较被解释变量对各个解释 变量的敏感性。
然而,偏回归系数与变量的原有计量单 位有直接联系,计量单位不同,彼此不能直 接比较。 为此,需要引进Beta系数和弹性系数。