第9章 非线性回归在非线性回归线性化时,对因变量作变换应注意什么问题?答:在对非线性回归模型线性化时,对因变量作变换时不仅要注意回归函数的形式, 还要注意误差项的形式。
如:(1)乘性误差项,模型形式为e y AK L αβε=, (2)加性误差项,模型形式为y AK L αβε=+。
对乘法误差项模型(1)可通过两边取对数转化成线性模型,(2)不能线性化。
一般总是假定非线性模型误差项的形式就是能够使回归模型线性化的形式,为了方便通常省去误差项,仅考虑回归函数的形式。
为了研究生产率与废料率之间的关系,记录了如表所示的数据,请画出散点图,根据散点图的趋势拟合适当的回归模型。
表生产率x (单位/周) 1000 2000 3000 3500 4000 4500 5000 废品率y (%)解:先画出散点图如下图:5000.004000.003000.002000.001000.00x12.0010.008.006.00y从散点图大致可以判断出x 和y 之间呈抛物线或指数曲线,由此采用二次方程式和指数函数进行曲线回归。
(1)二次曲线 SPSS 输出结果如下:从上表可以得到回归方程为:72ˆ 5.8430.0874.4710yx x -=-+⨯ 由x 的系数检验P 值大于,得到x 的系数未通过显着性检验。
由x 2的系数检验P 值小于,得到x 2的系数通过了显着性检验。
(2)指数曲线ANOVA.5731.57379.538.000.0365.007.6096RegressionResidualTotalSum ofSquares df Mean Square F Sig.The independent variable is x.Coe fficients.000.000.9708.918.0004.003.34811.514.000x(Constant)B Std. E rrorUnstandardizedCoefficientsBetaStandardizedCoefficientst Sig.The dependent variable is ln(y).从上表可以得到回归方程为:0.0002tˆ 4.003y e由参数检验P值≈0<,得到回归方程的参数都非常显着。
从R2值,σ的估计值和模型检验统计量F值、t值及拟合图综合考虑,指数拟合效果更好一些。
已知变量x与y的样本数据如表,画出散点图,试用αeβ/x来拟合回归模型,假设:(1)乘性误差项,模型形式为y=αeβ/x eε(2)加性误差项,模型形式为y=αeβ/x+ε。
表序号x y序号x y序号x y161127123813491451015解:散点图:(1)乘性误差项,模型形式为y=αeβ/x eε线性化:lny=lnα+β/x +ε令y1=lny, a=lnα,x1=1/x .做y1与x1的线性回归,SPSS 输出结果如下:从以上结果可以得到回归方程为:y1=+F 检验和t 检验的P 值≈0<,得到回归方程及其参数都非常显着。
回代为原方程为:y=(2)加性误差项,模型形式为y=αeβ/x+ε不能线性化,直接非线性拟合。
给初值α=,β=(线性化结果),NLS 结果如下:ANOVA a4.4582 2.229.00113.0004.459152.46714SourceRegressionResidualUncorrected TotalCorrected TotalSum ofSquares dfMeanSquaresDependent variable: yR squared = 1 - (Residual Sum of Squares) /(Corrected Sum of Squares) = 1.000.a.从以上结果可以得到回归方程为:y=根据R2≈1,参数的区间估计不包括零点且较短,可知回归方程拟合非常好,且其参数都显着。
Logistic回归函数常用于拟合某种消费品的拥有率,表(书上239页,此处略)是北京市每百户家庭平均拥有的照相机数,试针对以下两种情况拟合Logistic 回归函数。
0111t y b b u=+(1)已知100u =,用线性化方法拟合,(2)u 未知,用非线性最小二乘法拟合。
根据经济学的意义知道,u 是拥有率的上限,初值可取100;b0>0,0<b1<1初值请读者自己选择。
解:(1),100u =时,的线性拟合。
对0111t y b b u=+函数线性化得到:11ln() 1.8510.264100y -=--0111ln()ln ln 100b t b y -=+,令311ln()100y y =-,作3y 关于t 的线性回归分析,SPSS 输出结果如下:由表Model Summary 得到,0.994R =趋于1,回归方程的拟合优度好,由表ANOVA 得到回归方程显着,由Coefficients 表得到,回归系数都是显着的,得到方程:11ln() 1.8510.264100y -=--,进一步计算得到:00.157b =,10.768b =(100u =)回代变量得到最终方程形式为: 1ˆ0.010.1570.768ty=+⨯最后看拟合效果,通过sequence 画图:由图可知回归效果比较令人满意。
(2)非线性最小二乘拟合,取初值100u =,00.157b =,10.768b =: 一共循环迭代8次,得到回归分析结果为:Parame te r Estimate s91.062 2.03586.74795.377.211.028.152.271.727.012.701.753P aram eteru b c E stimate Std. E rrorLow er Bound Upper Bound95% Confidence I ntervalANOVA a60774.331320258.11085.36916 5.33660859.7001915690.38618Source Regression Residual Uncorrected Total Corrected Total Sum ofSquares df MeanSquaresDependent variable: yR squared = 1 - (Residual Sum of Squares) /(Corrected Sum of Squares) = .995.a.0.995R =>,得到回归效果比线性拟合要好,且:91.062u =,00.211b =,10.727b =,回归方程为:110.211*0.72791.062ty =+。
最后看拟合效果,由sequence 画图:得到回归效果很好,而且较优于线性回归。
表(书上233页,此处略)数据中GDP 和投资额K 都是用定基居民消费价格指数(CPI )缩减后的,以1978年的价格指数为100。
(1) 用线性化乘性误差项模型拟合C-D 生产函数;(2) 用非线性最小二乘拟合加性误差项模型的C-D 生产函数; (3) 对线性化检验自相关,如果存在自相关则用自回归方法改进; (4) 对线性化检验多重共线性,如果存在多重共线性则用岭回归方法改进;解:(1)对乘法误差项模型可通过两边取对数转化成线性模型。
ln y =ln A +?? ln K +???ln L令y ′=ln y ,β0=ln A ,x 1=ln K ,x 2=ln L ,则转化为线性回归方程:y ′=β0+?? x 1+???x 2+??SPSS 输出结果如下:模型综述表Model Summ aryb.997a .994.993.04836Model 1RR SquareAdjusted R SquareStd. E rror of the EstimateP redictors: (Constant), lnL, lnK a. Dependent Variable: lnYb.从模型综述表中可以看到,调整后的为,说明C-D 生产函数拟合效果很好,也说明GDP 的增长是一个指数模型。
方差分析表ANOVA b8.4462 4.2231805.601.000a.05122.0028.49724Regression Residual TotalModel 1Sum of SquaresdfMean SquareF Sig.P redictors: (Constant), lnL, lnKa. Dependent Variable: lnYb.从方差分析表中可以看到,F 值很大,P 值为零,说明模型通过了检验,这与上述分析结果一致。
系数表Coefficientsa-1.785 1.438-1.241.228.801.056.86114.370.000.402.171.1412.354.028(Constant)lnK lnLModel 1B Std. E rror Unstandardized Coefficients BetaStandardizedCoefficientstSig.Dependent Variable: lnYa.根据系数表显示,回归方程为:尽管模型通过了检验,但是也可以看到,常数项没有通过检验,但在这个模型里,当lnK 和lnL 都为零时,lnY 为,即当K 和L 都为1时,GDP 为,也就是说当投入资本和劳动力都为1个单位时,GDP 将增加个单位,这种解释在我们的承受范围内,可以认为模型可以用。
最终方程结果为: (2)y=0.801 L 用非线性最小二乘法拟合加性误差项模型的C-D 生产函数;上述假设误差是乘性的,现假设误差是加性的情况下使用非线性最小二乘法估计。
初值采用(1)中参数的结果,SPSS 输出结果如下:参数估计表Parame te r E stimate s.407.885-1.429 2.243.868.066.731 1.006.270.243-.234.774P aram eterP a b E stimateStd. E rrorLow er Bound Upper Bound95% Confidence I ntervalSPSS 经过多步迭代,最终得到的稳定参数值为P=,a=,b=y=0.868 L 为了比较这两个方程,我们观察下面两个图线性回归估计拟合曲线图非线性最小二乘估计拟合曲线图我们知道,乘性误差相当于是异方差的,做了对数变换后,乘性误差转为加性误差,这种情况下认为方差是相等的,那么第一种情况(对数变换线性化)就大大低估了GDP 数值大的项,因此,它对GDP 前期拟合的很好,而在后期偏差就变大了,同时也会受到自变量之间的自相关和多重共线性的综合影响;非线性最小二乘法完全依赖数据,如果自变量之间存在比较严重的异方差、自相关以及多重共线性,将对拟合结果造成很大的影响。