当前位置:文档之家› 第04章 多元线性回归分析估计

第04章 多元线性回归分析估计


12
为什么使用多元回归? 2. 更好地预测 • 一个变量y的变化,不仅与一种因素有关,可能 决定于许多因素。 • 预测一个变量的变化,往往需要尽可能多地知道 影响该变量变化的因素。 • 简单回归模型,只包含一个解释变量,有时只能 解释y的变动的很小部分。(如,拟合优度很低) • 多元回归模型由于可以控制更多地揭示变量,因 此,可以解释更多的因变量变动。
2
本章大纲
• • • 1. 为什麽使用多元回归 Motivation for Multiple Regression 2. 普通最小二乘法的操作和解释 Mechanics and Interpretation of Ordinary Least Squares 3. OLS估计量的期望值 The Expected Values of the OLS Estimators
18
3. 零值条件期望假定
19
多元回归模型中的零值条件期望假定
• 多元回归的零值条件期望假定: E(u|x1,x2, …,xk) = 0 • 两层含义: (1) E(u)=0 (2) E(u|x1,x2, …,xk) =E(u), cov(u,xj)=0, j=1,…,k
即,
• 注意:在上面例3中,零值条件期望假定可以表述 为:E(u|inc,inc2)= E(u|inc)=0
• u仍是误差项(或干扰项) ( error term (or disturbance) ):除了x1…xk之外,影响y的 其他因素。
7
多元回归模型的结构
因变量
被解释 变量 响应 变量 被预测 变量 回归子 回归元
自变量
解释 变量 控制 变量 预测元变 量
8
多元回归模型的结构
• 线性: • 参数线性:对于回归模型参数是线性的。
关于多元回归中的“保持其它因素不 变” (Holding other factors fixed) 多元回归中,所得到的“其他因素不变的效 应”,并非是通过在实际抽样中,固定其他 因素不变。 在教育-经验-工资一例中,在获得教育对的工 资其他条件不变影响时,在实际抽样中,也 并非是固定工作经验,收集不同教育年限的 样本,来分析教育年限变化,对于工资的影 响。 对个体进行随机抽样,就可通过多元回归分 析得到“其他因素不变的效应”。 多元回归分析的优势,在于它使我们能在非 实验环境中去做自然科学家在受控实验中所 能做的事情:保持其它因素不变。
13
为什么使用多元回归? 3. 表达更多的函数关系
• 多元回归模型,可以包含多个解释变量, 因此,可以利用变量的函数变换,在模型 中表达多种函数关系。
• 因此,多元线性回归模型,是实证分析中 应用最广泛的分析工具。
14
为什么使用多元回归模型? 例1: 教育对工资的影响
• 教育educ对工资wage的影响 • 一个简单回归模型: Wage= b0 + b1 • educ +u • 然而,上述工资方程中,许多影响工资,同时又与教 育年限相关的变量,被包含于误差项u中,如劳动力 市场经验等。一方面,他们影响工资,但又不同于教 育,故包含于u中。另一方面,他们又与教育相关。 如教育年限越长,则参与劳动市场的时间就相对越短。 因此,零值条件期望假定不成立,会导致OLS估计量 ^b1 有偏。
4
Байду номын сангаас
1. 多元线性回归模型结构:
5
多元线性回归模型结构: 含有k个自变量的模型
• 多元线性回归模型一般可以写作:
y b0 b1 x1 b2 x2 bk xk u
• x1…xk,k=2,…K,多个解释变量。
6
多元回归模型的结构
• b0 仍是截距(intercept)
• b1到bk仍然都称为斜率参数(slope parameters)
• 差分得到: Δ ^wage= ^b0 + ^b1 • Δ educ + ^b2 • Δ exper • ^b1衡量的就是,在工作经验exper不变的情况下, 教育每增加1年,工资增加多少元; • ^b2衡量的是,在教育水平educ不变的情况下,工 作经验每增加1年,工资增加多少元;
30
• •
• •
15
例1: 教育对工资的影响
• 一个策略就是,最好能够将这些与教育相关的变 量找出来,放在模型中,进行控制。 • 一个多元回归模型: Wage= b0 + b1 • educ + b2 • exper+ u • wage: 工资对数;educ: 教育年限; exper: 劳动 力市场经验(年)。 • 在此例中,劳动力市场经验exper,由于与感兴趣 变量教育educ相关,而被从误差项u中取出。
29
ˆ ˆ ˆ ˆ ˆ y b0 b1x1 b2 x2 ... bk xk
x2 0,...,xk 0 ˆ ˆ y b x
解释多元回归
教育对工资的影响
• 估计教育-经验-工资方程:
^wage= ^b0 + ^b1 • educ + ^b2 • exper
• ^wage: 工资拟合值;educ: 教育年限; exper: 劳动力市场经验(年)。
22
4.多元回归模型的OLS 估计
如何得到OLS估计值
k+1 个一阶条件(first order conditions):

...
ˆ ˆ ˆ ( yi b 0 b1 xi1 b k xik ) i 1
n n n
0
ˆ ˆ ˆ xi1 ( yi b 0 b1 xi1 b k xik ) 0 i 1 ˆ ˆ ˆ xi 2 ( yi b 0 b1 xi1 b k xik ) 0 i 1 ˆ ˆ ˆ xik ( yi b 0 b1 xi1 b k xik ) 0 i 1
ˆ ˆ ˆ y b1x1 b2x2
27
解释多元回归
• 可解释为:当x2保持不变,即Δ x2=0时, x1变化所引起的y的变化。
ˆ ˆ y b1x1
ˆ • 相应地,b2 可解释为:当x1保持不变,即 Δ x1=0时,x2变化所引起的y的变化。 ˆ b1
ˆ ˆ y b2x2
• 多元回归分析可以明确地控制许多其它同时影响因变量的因素, 而不是放在不可观测的误差项中,故多元回归分析更适合于其它 条件不变情况下(ceteris paribus)的特定因素x对y的影响。
• 多元回归模型能容许很多解释变量,而这些变量可以是相关的。 • 在使用非实验数据时,多元回归模型对推断y与解释变量x间的因 果关系很重要。
28
解释多元回归
• 对于所估计的一个多元回归函数: • 进行差分,得到: ˆ ˆ ˆ ˆ y b1x1 b2x2 ... bk xk • 保持x2…xk不变,意味着: • 此时: 1 1 ˆ • 故,b1 解释为在其他解释因素不变的情况下,x1变化1单 位,所引起的y的(平均值)的变化数量。 • 因此,每一个^β均可解释为局部效应(partial effect),或其 他情况不变效应(ceteris paribus effect)
20
4.多元回归模型的OLS 估计与 代数性质
21
4.多元回归模型的OLS 估计
• 普通最小二乘法(OLS): 选择能最小化残 差平方和的参数估计值:
ˆ , b , , b ) n ( y b b x , , b x )2 ˆ ˆ Q ( b 0 ˆ1 i1 i ˆ0 ˆ1 i1 k k ik
• 不幸的是,影响y的其它因素(包含在u中),往往与x1相关:改 变x1,u(均值)也往往发生变化,从而使得仅仅利用简单回归 模型,无法识别出在其它条件不变情况下x1对y的影响。
11
为什么使用多元回归? 1. 控制更多的因素
• 一个策略就是,将与x1相关的其他因素从误差项u中取出来,放在 方程里,作为新的解释变量,这就构成多元回归模型。
• 估计一个两自变量回归方程,得到: ˆ ˆ ˆ ˆ y b0 b1x1 b2 x2 ˆ • b0 是当x1=0, x2=0时,y的(平均值)预测值 (predicted value), 或拟合值(fitted value). ˆ ˆ • b1, b2 则可以解释为局部效应(partial effect), 或其他因素不变效应(ceteris paribus)
16
例2:预测高考成绩
• 预测高考成绩: • 一个简单模型: 成绩= b0 + b1 •师资 +u • 一个学生的期末成绩不仅决定于师资,还 决定于其他多种因素: 成绩= b0 + b1 •师资 + b2 •心理+ b3 •方法+ b4 • 内在能力+ b5 •家庭+b6 •早恋+u
17
为什么使用多元回归? 例3:收入与消费 • 假定存在一个模型:家庭消费cons是家庭 收入inc的二次方程,则模型可写作:
9
2. 为什么使用多元回归模型?
10
为什么使用多元回归? 1. 为获得其它因素不变的效应,控制更多的因素
• 在实证工作中使用简单回归模型,首要的困难在于:要得到在 其它因素不变的情况下, x1对y的影响(ceteris paribus effect), 非常困难。 • 在简单线性回归中,是否能够获得在其它条件不变情况下, x1对y的影响(ceteris paribus effects of x on y),完全取决于 零值条件期望假设是否符合现实。 • 如果影响y的其它因素,与x1不相关,则改变x1,可以确保 u(均值)不变,从而识别出在其它条件不变情况下x对y的影响。
n

23
4.多元回归模型的OLS 估计 零值条件期望假定与距条件
• 一阶条件也是相关的总体矩在样本中 的对应。 • E(u|x1,x2, …,xk) = 0
相关主题