一元线性回归一元线性回归模型的一般形式：εββ++=x y 10 一元线性回归方程为：x y E 10)(ββ+=当对Y 与X 进行n 次独立观测后,可取得n 对观测值,,,2,1),,(n i y x i i =则有i i i x y εββ++=10回归分析的主要任务是通过n 组样本观测值,,,2,1),,(n i y x i i =对10,ββ进行估计。

一般用∧∧10,ββ分别表示10,ββ的估计值。

称x y ∧∧∧+=10ββ为y 关于x 的一元线性回归方程（简称为回归直线方程），∧0β为截距，∧1β为经验回归直线的斜率。

引进矩阵的形式：设 ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n y y y y 21，⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n x x x X 11121 ，⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n εεεε 21，⎥⎦⎤⎢⎣⎡=10βββ 则一元线性回归模型可表示为：εβ+=X ynI V E M G 2)(ar 0)({σεε==-条件 其中n I 为n 阶单位阵。

为了得到∧∧10,ββ更好的性质，我们对ε给出进一步的假设（强假设） 设n εεε,,,21 相互独立，且),,2,1(),,0(~2n i N i =σε，由此可得：n y y y ,,,21 相互独立，且),,2,1(),,(~210n i x N y i =+σββ程序代码：x=[]; y=[];plot(x,y,’b*’)多元线性回归实际问题中的随机变量Y 通常与多个普通变量)1(,,21>p x x x p 有关。

对于自变量p x x x ,,21的一组确定值，Y 具有一定的分布，若Y 的数学期望值存在，则它是Y 关于p x x x ,,21的函数。

1212,,,(,,,)pp Y x x x x x x μμ=12(,,,)p x x x μ是p x x x ,,21的线性函数。

201,~(0,)p p Y b b x b x N εεσ=++++212,,,p b b b σ是与p x x x ,,21无关的未知参数。

逐步回归分析逐步回归分析的数学模型是指仅包含对因变量Y 有显著影响自变量的多元线性回归方程。

为了利于变换求算和上机计算，将对其变量进行重新编号并对原始数据进行标准化处理。

一、变量重新编号 1、新编号数学模型令k x y αα=，自变量个数为1k -，则其数学模型为：113322110...--+++++=k k k x x x x x αααααβββββ式中，1,2,3,,n α= （其中n 为样本个数）∑-=2)(k k x x S α∑-=2)ˆ(k k U x xS α∑-=-=2)ˆ(k k U Q xx S S S αj x 的偏回归平方和为：jjj Uc b S ='k x ：为k x α的算术平均值 j b ：j x 的偏回归系数jj c ：为逆矩阵1-L 对角线对应元素2 回归数学模型新编号的回归数学模型为：113322110...ˆ--+++++=k k k x b x b x b x b b x二、标准化数学模型标准化回归数学模型是指将原始数据进行标准化处理后而建立的回归数学模型，即实质上是每个原始数据减去平均值后再除以离差平方和的方根。

1、标准化回归数学模型令 jjj j S x x z -=αα j=1，2，3，… ，k其中： ∑==nj j x n x 11αα∑-==2)(j jjj j x x l S α！为离差平方和的方根注意：j j j j j j S S l l ,,,2它们之间的区别，即离差平方和，离差平方和的方根，方差，标准差。

则回归数学模型为：113322110...ˆ--'++'+'+'+'=k k k z z z z zαααααβββββ 2、标准化回归数学模型的正规方程组标准化回归数学模型正规方程组的一般形式为：()()()()()()()()()()()()()()()()()()()()()()()()⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧='++'+'+'+'='++'+'+'+'='++'+'+'+'='++'+'+'+'='++'+'+'+'∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑---------------k k k k k k k k kk k kk k kk k k k k z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z n αααααααααααααααααααααααααααααααααααααααααααααβββββββββββββββββββββββββ112131321211101311332323213103211233222212102111133122112101113322110.............................................................................................................................................................. 因为，0)(=-=∑∑jj j S x x z αα ， j i ji j j i ij i r S S x x x x z =--=∑∑))((αα所以上述正规方程组可变为：⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧='++'+'+'+='++'+'+'+='++'+'+'+='++'+'+'+=+++++'-------------k k k k k k k k kk k k k k k k k r r r r r r r r r r r r r r r rr r r r n 11113312211113113333232131211232322212111113132121110...0.................................................................0...0...000...000βββββββββββββββββ这样，数据标准化处理后的估计值0，并令，则可得数据标准化处理后的回归方程数学模型的正规方程组的一般形式为：⎪⎪⎪⎩⎪⎪⎪⎨⎧='++'+'+'='++'+'+'='++'+'+'='++'+'+'-------------k k k k k k k k k k k kk k k k k r r r r r r r r r r r r r r r r r r r r 1111331221111311333323213121123232221211111313212111........................................................................ββββββββββββββββ这样，数据标准化后0β'的估计值应为0，并j j d ='β令，则可得：⎪⎪⎪⎩⎪⎪⎪⎨⎧=++++=++++=++++=++++-------------k k k k k k k k k k k k k k k k k r d r d r d r d r r d r d r d r d r r d r d r d r d r r d r d r d r d r 1111331221111311333323213121123232221211111313212111........................................................................其中⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=------112111122221111211.....................k k k k k k r r r r rr r r R 称为相关系数矩阵。

⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=-k k k k r r r B 121 解此方程组，即可求出1321,,,,-k d d d d ，故可得标准化后的回归模型为：112211...ˆ--+++=k k k z d z d z d z标准化的回归模型的矩阵形式：⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡------------=------------1112221111113223211311112222211211111221211111111k k k n n n k k k k k k k k k S x x S x x S x x S x x S x x S xx S x x S x x S x x S x x S x x S x x X⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡----=k k nk k k k k k kkk k S x x S x x S x x S x x Y 32111121121222111121100000000k k k k k k n r r r n r r r A X X R r r r ------⎡⎤⎢⎥⎢⎥⎡⎤⎢⎥'===⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦三、标准化前后回归模型的关系 1、标准化前后的回归模型 1）标准化前后回归模型为：113322110...ˆ--+++++=k k k x b x b x b x b b x2）标准化后回归模型为：112211...ˆ--+++=k k k z d z d z d z2、标准化前后的偏回归系数标准化前后偏回归系数的关系可从变化过程反演得知： 令jjj j S x x z -=代入标准化前的回归模型可得：111122221111...ˆ-----++-+-=-k k k k k k k S x x d S x x d S x x d S x x整理后得：112211112211121121ˆ()k k k k k kk k k k k k k k S SS S SS xx d x d x d x d x d x d x S S S S S S ------=----++++113322110...ˆ--+++++=k k k x b x b x b x b b x将上式与标准化前的回归模型作比较，由待定系数法可知标准化前后回归模型的偏回归系数的关系为：∑-=-==110k j jj k j jkj x b x b d S S b j=1,2,3,…k-1于是只要求出j d ，即可求出j b ，今后仅讨论标准化后的回归模型。