最优化问题
min 1 2 C i ,b, 2 i 1 s.t. yi (( xi ) b) 1 i , i 1,, l i 0, i 1,l

l
哈尔滨工程大学
Harbin Engineering University
$$
方法理论
核函数
基于SVM的方法
情况二：样本本质上是非线性可分的 ' 解决方法：核函数 常用核函数
线性核函数
K ( x, x ) ( ( x) ( x' ))
目的：映射到高维空间，使样本线性可分
K ( x, x' ) ( x x' )
多项式核函数
K ( x, x' ) (( x x' ) 1)d
在机器学习中，支持向量机（SVM）学习算法训练出的是一种有监
督学习模型，可以用来分析数据，识别模式，广泛用于各种分类和回归分 析当中。 SVM是建立在统计学习理论和结构风险最小原理基础上的，根据有 限的样本信息在模型的复杂性和学习能力之间寻求最佳折中，以求获得最 好的推广能力。 哈尔滨工程大学
Harbin Engineering University
目标
权值修正规则
W (k ) W (k ) W (k 1)
G (k ) E (W ) |W W ( k ) W
梯度下降法
min E (W )
W
nM 2 1 1 ˆ (Y Y ˆ )2 E (W ) Y Y k k 2 2 k 1
误差函数
哈尔滨工程大学
Harbin Engineering University
$$
方法理论
BP算法
基于BP神经网络的方法
BP算法对输入输出样本进行训练的过程可以分为两个阶段。第一个 阶段：BP神经网络对从输入层接受的数据进行前向传播，这个过程不进行
权值的调整，只是为了得到当前权值下的一组网络输出。第二个阶段：通
过对上一次前向传播的输出结果进行误差计算，并求得本次网络权值的修 正量，反向传播修正权值。这两个过程反复交替地运行，直到误差达到期 望要求或收敛为止。 可以看到，BP神经网络的前向传播用于对网络输出的计算；而反向 传播则用于对输出误差的传递，进而不断修正网络权值，以使网络的输出 误差达到期望要求。 哈尔滨工程大学
Harbin Engineering University
min
w ,b
1 w 2
2
s.t.
yi ((w x i ) b) 1, i 1, , l
$$
方法理论
软间隔
基于SVM的方法
情况一：样本本质上线性，非线性由噪音导致
强制使用非线性函数，会导致过拟合 解决方法：软间隔 惩罚参数 松弛变量
在线的检测
S1:
zi
ห้องสมุดไป่ตู้
zobs ,i zobs ,i
obs ,i
T pc
, i 1,, m
2 E T zT ( I Ppc Ppc )z
S2:
SPE ( I Ppc P ) z
2 1 T TPCA zT Ppc pc P pc z
S3:
2 SPE J th , SPE & TPCA J th ,T 2 无故障，其他有故障 PCA
S1：
zobs ,i
1 N zobs ,i ( j ) N j 1

2 obs ,i
_ 1 N ( zobs ,i ( j ) z obs ,i )2 N 1 j 1
S2：
zobs ,1 (k ) zobs ,1 obs ,1 z (k ) Z [ z(1),, z( N )] RmN zobs ,m (k ) zobs ,m 标准化样本阵 obs , m
(
m
2 i j
) , i 1, 2,3
T
2 PCA
: J th,T 2
PCA
l(N l) F (l , N l ) N ( N 1)
h0 1
213 3 22
哈尔滨工程大学
Harbin Engineering University
$$
方法理论
基于PCA的方法
PCA检测流程
样本标准化
S1:对样本协方差阵进 行奇异值分解 S2:确定主元个数并 求解负荷矩阵 S3:设定阈值
阈值的设定
在线的检测
S1:标准化待测数据 S2:计算检测统计量 S3:作出检测判断
哈尔滨工程大学
Harbin Engineering University
$$
方法理论
基于PCA的方法
样本标准化
Gauss径向基核函数
K ( x, x ) exp( x x
哈尔滨工程大学
Harbin Engineering University
'
' 2
2)
避免维数灾难
$$
方法理论
多分类
基于SVM的方法
直接法（Crammer-Singer SVM） 一对一 一对余 间接法 有向无环图法 纠错输出编码法 . . .
h nm a h log2 n
输入层 哈尔滨工程大学
Harbin Engineering University
隐含层
输出层
$$
方法理论
BP算法
基于BP神经网络的方法
收敛速度加快 学习速率 动量因子 不易陷入局部极值
W (k 1) W (k ) G(k ) W (k )
哈尔滨工程大学
Harbin Engineering University
$$
方法理论
基于PCA的方法
阈值的设定
1 ZZ T PPT N 1
2 diag (12 ,, m )
2 2 12 2 m
S1:
S2:
pc 0
0 res
检测与诊断
类别：1、2、3、4
SVM1-4 1、2、3 2、3、4
SVM1-3 1、2 SVM1-2 2、3 2、3
SVM2-4 3、4 SVM3-4
有向无环图法
SVM2-3
1
2
3
4
哈尔滨工程大学
Harbin Engineering University
Harbin Engineering University
$$
方法理论
基于BP神经网络的方法
检测与诊断
类别 1 2 3
编码 100 010 001
样本
类别
输入层 哈尔滨工程大学
Harbin Engineering University
隐含层
输出层
$$
方法理论
SVM简述
基于SVM的方法
支持向量机（SVM）是Vapnik团队于1995年首先提出的，它在解决 小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应 用到函数拟合等其他机器学习问题中。
$$
方法理论
基于SVM的方法
最优化问题应为对变量w和b的 凸的二次规划问题
最大间隔法
右图是SVM在二维空间上分类的 几何示意图，图中实心点和空心点分 别表示两类的训练样本。 H为可以将两类准确分开的分类 线，H1，H2为两条平行于H并穿过两 类样本中离H最近的点的直线，称之 为支持直线。我们把H1和H2之间的 距离称作分类间隔。 所谓最大间隔法就是要求分类线 不但能将两类正确分开(训练错误率为 0),而且使分类间隔最大，此时得到的 分类线称之为最优分类线。 推广到高维空间，最优分类线就 变为最优分类面。 哈尔滨工程大学
哈尔滨工程大学
Harbin Engineering University
$$
方法理论
基于BP神经网络的方法
阈值
神经元模型
阈值函数 sigmoid函数 双曲正切函数

哈尔滨工程大学
Harbin Engineering University
$$
方法理论
基于BP神经网络的方法
BP网络结构
前馈网络
三层BP网络隐含层节点 经验公式
2 pc diag (12 ,, l2 ) res diag ( l21,, m )
l2 l21
1 2 h0 (h0 1) 1h 1 ) 2 1
0
S3:
SPE : J th , SPE 1 (
c 2 2 h02
i
j l 1
基于数据驱动的故障检测与诊断 方法理论
$$
方法理论
基于PCA的方法
PCA简述
高 维
PCA
低 维
样本标准化
求解标准化样本协方差阵的特征值与特征向量
确定主元个数 确定负荷矩阵
哈尔滨工程大学
Harbin Engineering University
$$
方法理论
基于PCA的方法
S1:计算样本属性均值 与方差 S2:构造标准化样本 矩阵