练实例上达到这个目标。
01:36:23
中间这条线是
logistic回顾强调所有点尽可能地远离 中间线。学习出的结果也就中间这条线。
考虑3个点A、B和C。从图中我们可以确 定A是×类别的，然而C我们是不太确定 的，B还算能够确定。这样我们可以得 出结论，我们更应该关心靠近中间分割 线的点，让他们尽可能地远离中间线， 而不是在所有点上达到最优。因为那样 的话，要使得一部分点靠近中间线来换 取另外一部分点更加远离中间线。
，其中认为 。替换 为 b，
替换
为
（即 ）。
这样，
，
进一步
。
也就是说除了 y 由 y=0 变为 y=-1，只是标记不同外，与 logistic 回
归的形式化表示过我们只需考虑 的正负问题，而不用关心 g(z)，因此我们 这里将 g(z)做一个简化，将其简单映射到 y=-1 和 y=1 上。映射关系如 下：
01:36:23
再审视一下 ，发现 只和 有关， >0，那么
，g(z)只不过是用来映射，真实的类别决定权还
在 。还有当
时， =1，反之 =0。
如果我们只从 出发，希望模型达到的目标无非就
是让训练数据中 y=1 的特征
，而是 y=0 的特
征
。Logistic 回归就是要学习得到 ，使得正例
的特征远大于 0，负例的特征远小于 0，强调在全部训
1. 核函数有效性判定
8. 规则化和不可分情况处理（Regularization and the non-separable case） 9. 坐标上升法（Coordinate ascent） 10. SMO优化算法（Sequential minimal optimization） 11. SMO中拉格朗日乘子的启发式选择方法
01:36:23
二. SVM 的发展
⒈ SVM理论的发展: 最小二乘支持向量机(LS – SVM) 多分类支持向量机(M-SVM) 支持向量回归(SVR) 支持向量聚类(SVC) ⒉ SVM与计算智能的融合: 神经网络+支持向量机 模糊逻辑+支持向量机 遗传算法+支持向量机 小波分析+支持向量机 主分量分析+支持向量机 粗糙集理论+支持向量机
回想前面我们提到我们的目标是寻找一个超平面，使 得离超平面比较近的点能有更大的间距。也就是我们 不考虑所有的点都必须远离超平面，我们关心求得的 超平面能够让所有点中离它最近的点具有最大间距。 形式化表示为：
01:36:23
这里用 =1 规约 w，使得
确定该例是正例还是反例），当
时，
应该是个大正数，反
之是个大负数。因此函数间隔代表了我们认为特征是正例还是反例的确
信度。
01:36:23
定义全局样本上的函数间隔 就是在训练样本上分类正例和负例确信度最小那个函数间隔。
01:36:23
几何间隔
假设我们有了 B 点所在的 分割面。任何其他一点，
比如 A 到该面的距离以 表示，假 设 B 就是 A 在分割面上的投影。我 们知道向量 BA 的方向是 （分割面 的梯度），单位向量是 。A 点是
01:36:23
§3 函数间隔（functional margin） 几何间隔（geometric margin）
给定一个训练样本
，x 是特征，y 是结果标签。i 表示第 i 个
样本。我们定义函数间隔如下：
可想而知，当
时，在我们的 g(z)定义中，
， 的值
实际上就是
。反之亦然。为了使函数间隔最大（更大的信心
01:36:23
§1 引言
一. SVM (Support Vector Machine)的历史
神经网络分类器，Bayes分类器等是基于大样本学 习的分类器。
Vapnik 等从1960年开始关于统计学习理论的研 究。统计学习理论是关于小样本的机器学习理论。
1992年支持向量机首次被引入。1995年Vapnik 发展了支持向量机理论。支持向量机是基于统计 学习理论的一种实用的机器学习方法。
其中x是n维特征向量，函数g就是logistic函数。
Sigmoid 函数在有个 很漂亮的“S”形,可以 看到，将无穷映射到了 (0,1)。
01:36:23
而假设函数就是特征属于 y=1 的概率。
当我们要判别一个新来的特征属于哪个类时，只需求 是 y=1 的类，反之属于 y=0 类。
，若大于 0.5 就
01:36:23
三. SVM的应用
数据与文本分类 系统建模及预测 模式识别(图像及语音识别，生物特征识别) 异常检测(入侵检测，故障诊断) 时间序列预测
01:36:23
§2 logistic回归
Logistic回归目的是从特征学习出一个0/1分类模型，而这 个模型是将特性的线性组合作为自变量，由于自变量的取值 范围是负无穷到正无穷。因此，使用logistic函数（或称作 sigmoid函数）将自变量映射到(0,1)上，映射后的值被认为 是属于y=1的概率。 假设函数
这就是支持向量机的思路和logistic回归的不同点，一个考 虑局部（不关心已经确定远离的点），一个考虑全局（已经 远离的点可能通过调整中间线使其能够更加远离）。
01:36:23
Notation
使用标签 y=-1,y=1，替换在 logistic 回归中使用的 y=0 和 y=1。将
替换成 w 和 b。
，所以 B 点是 x= （ 利 用 初 中 的 几 何 知 识 ）， 带 入
得，
01:36:23
进一步得到
实际上就是点到平面距离。
通常,对于训练集
我们定义几何间隔（w,b）为：
当
时，就是函数间隔。
同样定义全局样本上的几何间隔
01:36:23
§4最优间隔分类器（optimal margin classifier）
支持向量机与图像分类
蔡超 caichao@
授课内容
1. 简介 2. logistic回归 3. 函数间隔（functional margin）和几何间隔（geometric margin） 4. 最优间隔分类器（optimal margin classifier） 5. 拉格朗日对偶（Lagrange duality） 6. 最优间隔分类器（optimal margin classifier） 7. 核函数（Kernels）