数学建模与计算1 多元线性回归1.1 回归系数的计算假设变量y 与p 个变量x 1, x 2, … , x p 之间存在以下线性关系：y = b 0 + b 1x 1 + b 2x 2 + … + b p x p (+ ε) (1.1)这些变量的n 组观测值如表1.1所示。

将这些数值代入(1.1)得y 1 = b 0 + b 1x 11 + b 2x 12 + … + b p x 1p y 2 = b 0 + b 1x 21 + b 2x 22 + … + b p x 2p ……y n = b 0 + b 1x n 1 + b 2x n 2 + … + b p x np (1.2)这是一个关于b 0, b 1, …,b p （待估参数）的线性方程组。

一般来说方程个数n 远大于变量个数p , 是一个不相容的线性方程组。

但是可以求出b 0, b 1, …,b p 的一组数值代入(1.2)式右边，使得等号两边的数值尽可能接近。

最常用的便是最小二乘法，即Min Q (b 0, b 1, …,b p ) =∑=----ni ip p i i x b x b b y 12110)...(令Y = ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛n y y y 21, X =⎪⎪⎪⎪⎪⎭⎫⎝⎛np n n p p x x x x x x x x x 212222*********, β =⎪⎪⎪⎪⎪⎭⎫⎝⎛p b b b 10, 得Min Q (β) = (Y - X β)T (Y - X β) = Y T Y - 2Y T X β + βT X T X β这是一个关于β的凸二次函数。

令ββ∂∂)(Q = -2 X T Y + 2 X T X β = 0， 得到X T X β = X T Y .此式称为正规方程组或法方程组。

如果X T X 可逆，则βˆ= (X T X )-1X T Y . (1.3) 其中βˆ= (0ˆb ,1ˆb ,…, pb ˆ)T 。

定义1. n 元实值函数f (x ) = f (x 1, x 2, … , x n )的n 个偏导数构成的向量称为梯度函数，记为∇f (x )或xx f ∂∂)(, 即 x x f ∂∂)( = Tnx x f x x f x x f ))(,,)(,)((21∂∂∂∂∂∂ . 结论1.1. 设c 和x 是n 维数向量，那么xx c T ∂∂)(= c .结论1.2. 设A 是n ⨯ n 对称矩阵，x 是n 维向量，那么xAx x T ∂∂)(= 2Ax 。

结论1.3. X T X 可逆的必要充分条件是X 的列线性无关。

1.2 回归方程的检验定义总平方和SS tot = ∑-=ni i y y 12)(,回归平方和SS reg = ∑-=n i i y y12)ˆ(, 残差平方和SS err = ∑-=ni i i yy 12)ˆ(, 其中y =∑=n i i y 1/ n , i yˆ = 0ˆb +1ˆb x i 1 + … +p b ˆx ip 。

另外 R 2=totreg SS SS ,调节的R 2 = 1 - (1 - R 2)11---p n n .通常，R 2或调节的R 2大于0.95时可认为回归方程成立。

1.3 可以用线性回归方法求解的非线性模型(1) 二次函数y = c 0 + c 1x + c 2x 2.将x 2看作一个新的变量，这是一个具有2个自变量的线性模型。

设x 的观测值为x 1, x 2, … , x n , y 的观测值为y 1, y 2, … , y n , 则公式(1.3)中的X = ⎪⎪⎪⎪⎪⎭⎫⎝⎛2222211111n n x xx x x x , Y = ⎪⎪⎪⎪⎪⎭⎫⎝⎛n y y y 21, β = ⎪⎪⎪⎭⎫ ⎝⎛210c c c(2) C-D 函数Y = AL αK β其中L 是劳动力的投入，K 是资金投入，Y 是产出，A 称为技术系数。

A , α, β是待估参数。

两边取对数得ln Y = ln A + αln L + βln K(3) 施工区交通事故模型[2]ln f = α0 + α1ln L + α2D1 + α3Q 1+ α4U 其中f 是施工区交通事故频率，L 是施工区长度，D 是施工期，Q 是交通流量, U 是道路类型。

(4) 单隧道地表沉降槽的高斯曲线模型S = S max 2ax e其中S 是x 处的沉降深度，S max 和a 是待估参数。

两边取对数得ln S = ln S max + ax 2.1.4 不可以用线性回归方法求解的非线性模型(1) 逻辑增长曲线预测模型btt ae ky -+=1其中y t 是第t 期某经济指标的数值，k , a , b 是待估参数。

(2) 双隧道地表沉降槽的高斯曲线模型[3]S = s 121x a e+ s 222)(u x a e-其中S 是x 处的沉降深度，u 是两隧道中心的距离，s 1, a 1, s 2, a 2是待估参数。

以上两个模型的参数可用非线性最小二乘法求取。

假设变量y 自变量x (∈R p )之间存在以下关系:y = f (x ; β)(+ ε)其中β ∈ R m 是待估参数。

给定因变量与自变量的若干组观测值(y i , x i )，非线性最小二乘的数学模型如下：∑-=ii i x f y Q 2)),((min ββ这是一个无约束极值问题，由于形式特殊，可用Levenberg-Marquardt(LM)方法求解，见[4]p262-266.习题(1) 证明结论1.1, 1.2和1.3。

(2) 编一个计算程序计算(X T X)-1。

参考文献[1] 盛骤，谢式千，潘承毅. 概率论与数理统计，高等教育出版社，1997.[2] Qiang Meng, Jinxian Weng, Xiaobo Qu. A probabilistic quantitative risk assessment model for the long-term work zone crashes, Accident Analysis and Prevention, 2010, (42) 1866-1877.[3] 马灵. 基于数据挖掘的隧道施工地表沉降规律研究，华中科技大学博士学位论文，2013.[4] Jorge Nocedal, Stephen J Wright. Numerical Optimization数值最优化，科学出版社，2006.2 神经网络2.1 BP神经网络回归分析是寻求因变量y与自变量x (∈R p)之间函数关系的一种统计分析方法。

这种方法需要给定两者之间函数关系的形式y = f(x; β), 利用因变量与自变量的若干组观测值(y i, x i)确定参数β(∈R m)，一般用最小二乘法。

y = f(x; β)是x的线性函数时称为线性最小二乘问题，是x的非线性函数时称为非线性最小二乘问题。

对于许多实际问题，因变量与自变量之间的关系很复杂，难以确定它们之间函数关系的形式。

（人工）神经网络不要求明显地给出因变量与自变量之间函数关系的表达式。

神经网络是由一些单元（神经元）按一定方式连接而成的网络，其形式多种多样，最常用的是分层前向神经网络，其第一层是输入层，最后一层是输出层，中间一般有1或2层，称为隐层。

输入层和输出层单元的个数由需要解决的问题本身决定，隐层单元的个数由实验确定，使得网络的输出尽可能与目标值接近。

图2.1是一个具有三个输入两个输出一个隐层的神经网络，其中的圆圈表示单元，与圆圈相连的箭线表示其输入或输出。

图2.1 神经网络的例子神经网络的每个单元对应一个数字，称为输出。

输入层单元的输入相当于自变量的观测值。

隐层和输出层每个单元的输入是前一层各单元输出的加权和，称为净输入。

将净输入代入一个称为激励函数或传递函数的一元函数，得到的数值便是该单元的输出。

为了防止各单元的净输入不至于过大或过小，有时需加上一个数值，称为调整量。

神经网络的主要工作是不断调整权值，称为训练，使得其输出尽可能接近理想输出（相当于回归分析中因变量的观测值）。

调整权值的方法很多，最有名的是分层神经网络中使用的误差反向传播（Back Propagation, BP ）算法。

在分层神经网络中，隐层和输出层每个单元的输出递归地确定。

设神经网络有p 个输入，q 个输出，分L 层。

激励函数为g (∙)。

用w ij l 表示第l - 1层单元i 指向第l 层单元j 的连接权。

在给定p 个输入y 11, y 21, … , y p 1和所有连接权的前提下，其他单元的输出由左到右由上到下依次计算。

第l 层单元j 的净输入h j l =∑-il ij l i w y 1 第l 层单元j 的输出y j l = g (h j l ), l = 2, … , L .对隐层和输出层每个单元由左到右进行的以上运算称为前向传播。

以图2.1网络部分单元为例说明前向传播计算方法。

隐层第1个单元的净输入h 12 = y 11w 112 + y 21w 212 + y 31w 312.该单元的输出y 12 = g(h 12).输出层第1个单元的净输入h 13 = y 12 w 113+ y 22w 213 + y 32w 313 + y 42w 413.该单元的输出y 13 = g(h 13).计算涉及的数据见图2.2。

2图2.2 前向传播（部分）示意图一般来说，图2.1隐层各单元的净输入和输出为∑==31212i ij i jw y h , )(22j j h g y =, j = 1, 2, 3, 4. (2.1)图2.1输出层各单元的净输入和输出为∑==41323i ij i jw y h ，)(33j j h g y =，j = 1, 2. (2.2) 激励函数有许多，例如（[1]p124）(1) 线性函数g (x ) = cx .(2) 符号函数g (x ) = sgn(x ) = ⎩⎨⎧<-≥.0,1,0,1x x(3) Sigmoid 函数g (x ) =xe -+11.(4) 双曲函数g (x ) = xxe e --+-11.神经网络每层用到的激励函数可能不一样（[2]p132），根据实验效果确定。

设神经网络最后一层单元j 的目标值为d j L ，为了使得各单元的输出y j L 尽可能接近d j L ，极小化误差平方和：∑==-=q j L j L j wy d E 12)(21min ∑=-qj L j L j h g d 12))((21 (2.3)以获取连接权w ij l 的数值。

E 的表达式称为成本函数或业绩函数，w 是所有连接权构成的向量。

由于h j L =∑-kLkj L k w y 1,按照复合函数求导法，E 对第L - 1层单元i 与第L 层单元j 的连接权w ij L 的偏导数Lijw E∂∂= j h E ∂∂L ij L j w h ∂∂= -(d j L - y j L ) g ’(h j L ) y iL -1. (2.4) 其中L jh E ∂∂=-(d j L - y j L ) g ’(h j L )。