当前位置:文档之家› 第十二讲多重线性回归

第十二讲多重线性回归

(2)同时调整多个混杂因素的作用(类似多元 协方差分析调整多个混杂因素的作用)。
(3)估计与预测,用较易测量的多个自变量来 估计难以测得应变量总体均数μY或预测个体Y值。
(4)多重回归分析是进一步学习logistic回归、 判别分析、 主成分分析、 因子分析等多元统计分析 方法的基础。
十一、筛选自变量方法
第一节 多重线性回归
一、多重线性回归模型 Y=β0+β1X1+β2X2+…+βmXm+e
Y ˆ b 0 b 1 X 1 b 2 X 2 .. b .m .X m
二、多重线性回归的基本条件
多重线性回归模型的应用条件同直线回归,即线性 (linearity)、独立性(indepen-dency)、正态性和方差 齐性(normal distribution and equal variance)等条 件,简记LINE。还要注意个自变量间不能存在多重共线性。
FM 回 S S回 S /m (nm 1 ) S回 S M 剩 SS剩 S /n (m 1 ) m S剩 S
剩余标准差
sY12m
SS剩 nm1
剩余标准差的平方是残差的方差,又称均方误 差,记为MSE,其值越小越好
(2) 偏回归系数的假设检验
分别考察每一个自变量 xi 与应变量 Y 是否都有 直线回归关系
第10讲 非参数检验
概述 多重线性回归的应用以及注意事项 多重线性回归的电脑实验
第11讲 多重线性回归—引言
在医药研究中,应变量的变化往往受到多个因 素的影响,此时就需要用多重线性回归 (Multiple Linear Regression),多重线性回归 是直线回归的扩展。例如,人的体重与身高、 胸围有关;人的心率与年龄、体重、肺活量有 关。因此,采用两个或多个影响因素作为自变 量(Xi)来解释应变量(Y)的变化,建立最优组合模 型来预测或估计因变量,比只用一个自变量进 行预5.2
5.5
4.7
6.8
5.4
2.9
4.0
3.1
3.1
0.08 0.07 0.01 0.07 0.11 0.11 0.07 0.11 0.03 0.01 0.02 0.21 0.01 0.11 0.10
230
260
252
消除多重共线性的方法有多种,如岭回归、主 成分回归等。
五、多重回归的样本含量
只要例数n多于自变量个数m即可,一般要求n 为m的5倍以上。
六、多重回归的检验
多元线性回归方程的假设检验:①对整个方程 的综合检验,即对回归方程的线性假设检验;②对 每一个自变量的检验,即对每个偏回归系数的假设 检验。
⑴ 回归方程的方差分析
(1)全局择优法:m 个自变量的不同组合共有 2m-1 种,分别建立回归方程进行比较后择优。择优 的准则有多种,准则不同,筛选的结果可能不同。 如果用最大校正决定系数准则,则挑选校正决定系 数R2a最大者来获得“最优子集”的回归方程。 SPSS为Enter法。
(2)逐步选择法: 备选自变量较多时,全局择 优的计算量非常大, 用逐步回归法选择可减少计算 量。常用逐步(Stepwise)、向前(Forward)、向 后(Backward)法。向后法考虑了自变量的组合作 用,但变量数不能太多。3种逐步回归方法选中的自 变量不一定相同。 逐步回归得到只是局部最优,不 一定是全局最优回归方程。
回归条件等。
从上到下从左到右依次编号为①-⑧:①散点均匀分布在以 0 为中心,与横轴平行 的带状区域内,可以认为基本满足线性和方差齐性的假定条件;②③散点呈现曲线趋势, 提示资料不满足线性的假设;④⑤⑥散点随预测值的变化而变化,提示资料不满足方差 齐性的假定;⑦⑧散点随预测值的变化而变化且呈曲线趋势,提示资料不满足方差齐性 的假定。
三、多重线性回归分析的步骤
1.估计参数,建立多重线性回归模型。 根据样本提供的数据资料,采用最小二乘法原理求得多重线性回归模型参数 0 ,1 , 2 ,…,m 的估计值,即求得 b0 ,b1 ,b2 ,…,bm ,从而得到Yˆ b0 b1X1 b2X2 .... bmXm 多重线性回归模型。 2.对整个模型进行假设检验,模型有统计学意义的前提下,再对各偏回归系数进行 假设检验。对求得的多重线性回归方程及各自变量进行假设检验,检验自变量 X1, X 2 ,…, X m 与应变量Y 之间是否存在线性关系。 3.计算相应指标,评价回归模型的拟合效果。 4.残差分析。 5.自变量的选择。 6.回归诊断与评价。
十二、自变量间交互作用的分析
将自变量的交互项引入方程进行检验分析。
【例17-1】 大白鼠作受试对象,分析乌头碱不 同注射速度x1、常咯啉的不同剂量x2,大鼠体重 x3 与应变量延缓心律失常发生的时间Y的关系。
编号 X1 X2 X3 Y
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
4.8
5.6
7.1
4.9
七、决定系数
R2=SS回 /SS总 校正决定系数是衡量方 程好坏的常用指标之一
八、标准化偏回归系数
Ra2d
1
MS剩 MS总
bi bi lii/lYY
九、残差分析
残差 ei Yi Yˆi ,标准化残差 ei
ei MS残差
。通常以标准化残差为纵坐标,以Yˆi
为横
坐标作残差图进行分析。残差分析可以用于评价回归模型和验证资料是否满足多重线性
四、多重共线性问题
如果一些自变量之间存在较强的线性关系,称 多重共线性。判断多重共线有相关系数、容忍度、 方差膨胀因子等指标。
一般来说,相关系数r>0.8的变量可能存在共线 问题,r>0.9的变量存在共线。
容忍度=1-R2,愈小说明共线问题愈严重,如 果某个自变量的容忍度<0.1,共线问题严重。
方差膨胀因子 = 容忍度的倒数,愈大说明共线 问题愈严重。
资料不满足其条件时,常用的处理方法有:修 改模型或者采用曲线拟合;变量变换,常用的 变量变换有对数变换、平方根变换、倒数变换 等。变量变换对自变量或(和)应变量均适宜; 如果方差不齐,可采用加权最小二乘法估计偏 回归系数。
十、多元回归分析的应用
(1)分析因素的相对重要性,找出对因变量最 大的关键因素。
相关主题