浅谈神经网络先从回归(Regression)问题说起。

我在本吧已经看到不少人提到如果想实现强AI，就必须让机器学会观察并总结规律的言论。

具体地说，要让机器观察什么是圆的，什么是方的，区分各种颜色和形状，然后根据这些特征对某种事物进行分类或预测。

其实这就是回归问题。

如何解决回归问题？我们用眼睛看到某样东西，可以一下子看出它的一些基本特征。

可是计算机呢？它看到的只是一堆数字而已，因此要让机器从事物的特征中找到规律，其实是一个如何在数字中找规律的问题。

例：假如有一串数字，已知前六个是1、3、5、7，9，11，请问第七个是几？你一眼能看出来，是13。

对，这串数字之间有明显的数学规律，都是奇数，而且是按顺序排列的。

那么这个呢？前六个是0.14、0.57、1.29、2.29、3.57、5.14，请问第七个是几？这个就不那么容易看出来了吧！我们把这几个数字在坐标轴上标识一下，可以看到如下图形：用曲线连接这几个点，延着曲线的走势，可以推算出第七个数字——7。

由此可见，回归问题其实是个曲线拟合(Curve Fitting)问题。

那么究竟该如何拟合？机器不可能像你一样，凭感觉随手画一下就拟合了，它必须要通过某种算法才行。

假设有一堆按一定规律分布的样本点，下面我以拟合直线为例，说说这种算法的原理。

其实很简单，先随意画一条直线，然后不断旋转它。

每转一下，就分别计算一下每个样本点和直线上对应点的距离(误差)，求出所有点的误差之和。

这样不断旋转，当误差之和达到最小时，停止旋转。

说得再复杂点，在旋转的过程中，还要不断平移这条直线，这样不断调整，直到误差最小时为止。

这种方法就是著名的梯度下降法(Gradient Descent)。

为什么是梯度下降呢？在旋转的过程中，当误差越来越小时，旋转或移动的量也跟着逐渐变小，当误差小于某个很小的数，例如0.0001时，我们就可以收工(收敛, Converge)了。

啰嗦一句，如果随便转，转过头了再往回转，那就不是梯度下降法。

我们知道，直线的公式是y=kx+b，k代表斜率，b代表偏移值(y轴上的截距)。

也就是说，k 可以控制直线的旋转角度，b可以控制直线的移动。

强调一下，梯度下降法的实质是不断的修改k、b这两个参数值，使最终的误差达到最小。

求误差时使用累加(直线点-样本点)^2，这样比直接求差距累加(直线点-样本点) 的效果要好。

这种利用最小化误差的平方和来解决回归问题的方法叫最小二乘法(Least Square Method)。

问题到此使似乎就已经解决了，可是我们需要一种适应于各种曲线拟合的方法，所以还需要继续深入研究。

我们根据拟合直线不断旋转的角度(斜率)和拟合的误差画一条函数曲线，如图：从图中可以看出，误差的函数曲线是个二次曲线，凸函数(下凸, Convex)，像个碗的形状，最小值位于碗的最下端。

如果在曲线的最底端画一条切线，那么这条切线一定是水平的，在图中可以把横坐标轴看成是这条切线。

如果能求出曲线上每个点的切线，就能得到切线位于水平状态时，即切线斜率等于0时的坐标值，这个坐标值就是我们要求的误差最小值和最终的拟合直线的最终斜率。

这样，梯度下降的问题集中到了切线的旋转上。

切线旋转至水平时，切线斜率=0，误差降至最小值。

切线每次旋转的幅度叫做学习率(Learning Rate)，加大学习率会加快拟合速度，但是如果调得太大会导致切线旋转过度而无法收敛。

注意：对于凹凸不平的误差函数曲线，梯度下降时有可能陷入局部最优解。

下图的曲线中有两个坑，切线有可能在第一个坑的最底部趋于水平。

微分就是专门求曲线切线的工具，求出的切线斜率叫做导数(Derivative)，用dy/dx或f'(x)表示。

扩展到多变量的应用，如果要同时求多个曲线的切线，那么其中某个切线的斜率就叫偏导数(Partial Derivative)，用∂y/∂x表示，∂读“偏(partial)”。

由于实际应用中，我们一般都是对多变量进行处理，我在后面提到的导数也都是指偏导数。

以上是线性回归(Linear Regression)的基本内容，以此方法为基础，把直线公式改为曲线公式，还可以扩展出二次回归、三次回归、多项式回归等多种曲线回归。

下图是Excel的回归分析功能。

在多数情况下，曲线回归会比直线回归更精确，但它也增加了拟合的复杂程度。

直线方程y=kx+b改为二次曲线方程y=ax^2+bx+c时，参数(Parameter)由2个(分别是k、b)变为3个(分别是a、b、c)，特征(Feature)由1个(x)变为2个(x^2和x)。

三次曲线和复杂的多项式回归会增加更多的参数和特征。

前面讲的是总结一串数字的规律，现实生活中我们往往要根据多个特征(多串数字)来分析一件事情，每个原始特征我们都看作是一个维度(Dimension)。

例如一个学生的学习成绩好坏要根据语文、数学、英语等多门课程的分数来综合判断，这里每门课程都是一个维度。

当使用二次曲线和多变量(多维)拟合的情况下，特征的数量会剧增，特征数=维度^2/2 这个公式可以大概计算出特征增加的情况，例如一个100维的数据，二次多项式拟合后，特征会增加到100*100/2=5000个。

下面是一张50*50像素的灰度图片，如果用二次多项式拟合的话，它有多少个特征呢？——大约有3百万！它的维度是50*50=2500，特征数=2500*2500/2=3,125,000。

如果是彩色图片，维度会增加到原来的3倍，那么特征数将增加到接近3千万了！这么小的一张图片，就有这么巨大的特征量，可以想像一下我们的数码相机拍下来的照片会有多大的特征量！而我们要做的是从十万乃至亿万张这样的图片中找规律，这可能吗？很显然，前面的那些回归方法已经不够用了，我们急需找到一种数学模型，能够在此基础上不断减少特征，降低维度。

于是，“人工神经网络(ANN, Artificial Neural Network)”就在这样苛刻的条件下粉墨登场了，神经科学的研究成果为机器学习领域开辟了广阔的道路。

神经元有一种假说：“智能来源于单一的算法(One Learning Algorithm)”。

如果这一假说成立，那么利用单一的算法(神经网络)处理世界上千变万化的问题就成为可能。

我们不必对万事万物进行编程，只需采用以不变应万变的策略即可。

有越来越多的证据证明这种假说，例如人类大脑发育初期，每一部分的职责分工是不确定的，也就是说，人脑中负责处理声音的部分其实也可以处理视觉影像。

下图是单个神经元(Neuron)，或者说一个脑细胞的生理结构：下面是单个神经元的数学模型，可以看出它是生理结构的简化版，模仿的还挺像：解释一下：+1代表偏移值(偏置项, Bias Units)；X1,X2,X2代表初始特征；w0,w1,w2,w3代表权重(Weight)，即参数，是特征的缩放倍数；特征经过缩放和偏移后全部累加起来，此后还要经过一次激活运算然后再输出。

激活函数有很多种，后面将会详细说明。

举例说明：X1*w1+X2*w2+...+Xn*wn这种计算方法称为加权求和(Weighted Sum)法，此方法在线性代数里极为常用。

加权求和的标准数学符号是，不过为了简化，我在教程里使用女巫布莱尔的符号表示，刚好是一个加号和一个乘号的组合。

这个数学模型有什么意义呢？下面我对照前面那个y=kx+b 直线拟合的例子来说明一下。

这时我们把激活函数改为Purelin(45度直线)，Purelin就是y=x，代表保持原来的值不变。

这样输出值就成了Y直线点= b + X直线点*k，即y=kx+b。

看到了吧，只是换了个马甲而已，还认的出来吗？下一步，对于每个点都进行这种运算，利用Y直线点和Y样本点计算误差，把误差累加起来，不断地更新b、k的值，由此不断地移动和旋转直线，直到误差变得很小时停住(收敛)。

这个过程完全就是前面讲过的梯度下降的线性回归。

一般直线拟合的精确度要比曲线差很多，那么使用神经网络我们将如何使用曲线拟合？答案是使用非线性的激活函数即可，最常见的激活函数是Sigmoid(S形曲线)，Sigmoid有时也称为逻辑回归(Logistic Regression)，简称logsig。

logsig曲线的公式如下：还有一种S形曲线也很常见到，叫双曲正切函数(tanh)，或称tansig，可以替代logsig。

下面是它们的函数图形，从图中可以看出logsig的数值范围是0~1，而tansig的数值范围是-1~1。

自然常数e公式中的e叫自然常数，也叫欧拉数，e=2.71828...。

e是个很神秘的数字，它是“自然律”的精髓，其中暗藏着自然增长的奥秘，它的图形表达是旋涡形的螺线。

融入了e的螺旋线，在不断循环缩放的过程中，可以完全保持它原有的弯曲度不变，就像一个无底的黑洞，吸进再多的东西也可以保持原来的形状。

这一点至关重要！它可以让我们的数据在经历了多重的Sigmoid变换后仍维持原先的比例关系。

e是怎么来的？e = 1 + 1/1! + 1/2! + 1/3! + 1/4! + 1/5! + 1/6! + 1/7! + ... = 1 + 1 + 1/2 + 1/6 + 1/24 + 1/120+ ... ≈ 2.71828 (!代表阶乘，3!=1*2*3=6)再举个通俗点的例子：从前有个财主，他特别贪财，喜欢放债。

放出去的债年利率为100%，也就是说借1块钱，一年后要还给他2块钱。

有一天，他想了个坏主意，要一年算两次利息，上半年50%，下半年50%，这样上半年就有1块5了，下半年按1块5的50%来算，就有1.5/2=0.75元，加起来一年是：上半年1.5+下半年0.75=2.25元。

用公式描述，就是(1+50%)(1+50%)=(1+1/2)^2=2.25元。

可是他又想，如果按季度算，一年算4次，那岂不是更赚？那就是(1+1/4)^4=2.44141，果然更多了。

他很高兴，于是又想，那干脆每天都算吧，这样一年下来就是(1+1/365)^365=2.71457。

然后他还想每秒都算，结果他的管家把他拉住了，说要再算下去别人都会疯掉了。

不过财主还是不死心，算了很多年终于算出来了，当x趋于无限大的时候，e=(1+1/x)^x≈ 2.71828，结果他成了数学家。

e在微积分领域非常重要，e^x的导数依然是e^x，自己的导数恰好是它自己，这种巧合在实数范围内绝无仅有。

一些不同的称呼：e^x和e^-x的图形是对称的；ln(x)是e^x的逆函数，它们呈45度对称。

神经网络好了，前面花了不少篇幅来介绍激活函数中那个暗藏玄机的e，下面可以正式介绍神经元的网络形式了。

下图是几种比较常见的网络形式：- 左边蓝色的圆圈叫“输入层”，中间橙色的不管有多少层都叫“隐藏层”，右边绿色的是“输出层”。