输入
数据获取
预处理
特征提取
决策分类
输出



数据获取：通过图像输入设备实现。 预处理：提高图像质量，包括滤波、平滑、增强、 复原、提取边缘、图像分割等方法 特征提取和选择：将预处理后的图像转化为若干特 征。常见特征有：幅度特征，统计特征，几何特征， 变换系数特征等

决策分类是模式识别要解决的关键问题 决策分类可以认为是寻找进行分类的决策函数的过 程。当已知待识别模式的完整的先验知识时，则可 以据此确定决策函数的数学表达式。如果仅已知待 识别模式的定性知识，则在确定决策函数的过程中， 通过反复学习、调整，以取得满意的决策函数表达 式

输入：k:类的个数，D:包含n个对象的数据集。 输出：k个类的集合 步骤：
◦
◦
1、从D中任意选择k个对象作为初始类中心；
2、根据簇中对象的均值，将每个对象指派到最相似的 类
◦
◦
3、更新类均值，即计算每个类中对象的均值
4、重复2~3步，直至误差平方准则 J 变化幅度小于下 界

例：中国男足近几年到底在亚洲处于几流水平？ 下图是采集的亚洲15只球队在2005年-2010年间大 型杯赛的战绩
y 0
i 1 i i
n
将求解后得到的 ai 带回可得决策函数参数的取值

由于处于非边界位置的ai 都为零。处于边界的ai 不为零。 W 只是处于边界处数据的线性组合，可 将处于边界处的原始数据当做支持向量。

检测新数据z时： 如果 W T z b 小于0，则认为是第一类；否则 为第二类
如 X 属于 i 类，则
di ( X ) d j ( X ),j i


对样本抽取N个特征，即 X x1 , x2 , , xn ，建立 线性决策函数和构造一个线性分类器，利用该分类器 完成对未知类别的模式分类。 通过学习的方法对分类器进行训练，利用已知类别的 训练样本通过分类器训练，如果分类错了就调整权向 量W，直到对训练样本集正确训练为止


用k-means算法进行聚类。设 k=3，即将这15支球队分成三 类。现抽取日本、巴林和泰 国的值作为三个类的中心。 计算所有球队分别对三个中 心点的相似度，这里以欧氏 距离度量。 聚类结果为：中国C，日本A， 韩国A，伊朗B，沙特B，伊拉 克C，卡塔尔C，阿联酋C，乌 兹别克斯坦B，泰国C，越南C， 阿曼C，巴林B，朝鲜B，印尼 C。




统计模式识别：以概率统计为基础，模式用特征向 量描述，找出决策函数进行模式决策分类 句法模式识别：以形式语言理论概念为基础。模式 被分解为模式基元，识别过程为判定输入的模式基 元串能否被文法识别器接受。 模糊模式识别：以模糊集理论为基础，利用模糊信 息进行模式决策分类。 神经网络模式识别：神经网络具有信息分布式存储， 大规模自适应并行处理，高度容错性等优点。对于 不确定的模式识别具有优势
若全部样本共分为 C 类 P(i / X ) max{P( j / X )} X i 平均错误率 的定义为：
p(e) p(e, x)dx p(e / x) p( x)dx

为使 最小，应取此两块错误区域面积相等。
p( X / 1 ) p(1 )
1
(1 0 )
P( X / w1 ) P( X / w2 ) dX
2
1 P( X / w2 ) P( X / w1 ) 0 X 2
p( X / 2 ) p(2 )

2、基于最小风险的Bayes准则：
P( X 1 / w1 ); P( X 2 / w2 ); P( X 1 / w2 ) P( X 2 / w1 )
相应的4种选择风险或代价记为 平均风险：
C11 , C12 , C22 , C21
R=C11P( w1 ) P( X 1 / w1 ) C12 P( w1 ) P( X 1 / w2 ) C22 P( w2 ) P( X 2 / w2 ) C21P( w2 ) P( X 2 / w1 )

对所用的训练样本 xi 有：
yi (W xi b) 1
T
i
将之前的目标函数进行转化得到新的优化问题
1 2 Minimize W 2 s.b yi (W T xi b ) 1 i
定义Lagrange函数 n 1 2 (W , b, ) W +i [1 yi (W T xi b)] 2 i 1 原问题等价于 min max (W ,b , )

多类别情况，需要分成三种情况进行讨论

1、每一类模式与其他类模式用单个决策面分割 设M类模式，由M个决策函数，具有以下性质：
0 di ( X ) Wi X 0
T
X i 其他
其中，i 1, 2,3,, M 。Wi (Wi1,Wi 2 ,,Win ,Wi,(n1) )T 表示第i个决策函数的权向量



数据获取：将细胞涂片上显微细胞图像转换为细 胞数字图像，该细胞数字灰度图像反映了原细胞 图像中相应位置的光密度大小。 预处理：采用图像平滑法去除噪声，用图像阈值 分割在差分直方图上求出划分细胞与背景、细胞 核与细胞浆的两个灰度阈值 特征的选择和提取：根据医生的建议和细胞所处 部位及病变阶段，建立细胞的特征模型。一般可 取33个特征。
2 P( X / 2 )dX 1
2
令 2 0 ，且以它为约束条件使 1最小。采用拉格朗 日乘子法，可得：
1 ( 2 0 )
上式整理可得 (1 0 ) 为减小r可得：
P( X / w2 ) P( X / w1 ) dX
1 P( X / 1 ) (C21 C22 ) P(2 ) L( X )= X 2 P( X / 2 ) (C12 C11 ) P(1 )

3、奈曼－皮而逊决策：
当难以给出适当而合理的风险函数，一个明显的事实 或规则，是设法限制或约束某一错误概率，而使另一错误 概率最小。 设有两种错误： 1 P( X / 1 )dX
2、集群准则函数：集群准则函数反映了类别间的 相似性或分离性。
误差平方和准则： J e X mi
i 1 X i
C
2
离散度准则：
Sw
c i 1 xk classi
c

i 1
(ui xk )(ui xk )T （类内散度）
（类间散度）
Sb ni (ui u)(ui u)T
上式整理可得：
R =C11P( w1 ) C22 P( w2 ) (C21 C22 ) P( w2 ) P( X / w2 ) (C12 C11 ) P( w1 ) P( X / w1 ) dX
1
为使 R 最小，则整个规则可用如下不等式表示：
1 (C21 C22 ) P(2 ) P( X / 2 ) (C12 C11 ) P(1 ) P( X / 1 ) X 2
T

许多决策函数可以分割 这些数据点出为两类 如何选取决策函数
第2
第2类
第2类
第1类
第1类

最佳的决策函数应该最大化两类之间的间隔 m
第2类
m
2 m W
d ( X )=W T X +b=1 d ( X )=W T X +b=0
第1类
T
d ( X )=W X b 1

2、每一类模式与其他类由不同的决策面单个地分 开，即类别间是成对可分的，这样就有M(M-1)/2个 决策面。决策函数形式为： dij ( X ) Wij T X X i 若模式X 属于 i 类，则有：
dij ( X ) 0, j i

3、存在M 个决策函数
dK ( X ) WK T X , K 1, 2,...,M

图像识别的基本概念 统计模式识别


线性决策函数 距离函数模式分类 似然函数模式分类

模式是对客观事物的描述，是指建立一个可用于仿 效的完善的标本。 模式识别本质上是经过分析、判断、归类、识别出 事物与哪个供仿效的标本相同或相似。有时可将模 式识别理解为模式分类。 图像识别就是图像分类，属于模式识别的范畴
对于两类的问题，基于最小错误率的Bayes准则：
1 P(1 / X ) P(2 / X ) X 2
P( X / 1 ) P(1 ) P( X / 2 ) P(2 ) X 1 2
1 P( X / 1 ) P(2 ) L( X ) X 2 P( X / 2 ) P(1 )
对于二维输入特征X=(x1,x2), 线性决策函数为：
d ( X ) W1x1 W2 x2 W3 0
x2
分类结果：
若 d(X ) 0
若 d(X ) 0
X 1
d( X ) Wx 1 1 W 2 x2 W 3 0
X 2
若 d ( X ) 0 ，X处于不确定状态


1、基于最小错误率的Bayes准则
若已知两类的先验概率分别为 P (1 ) 和 P (2 ) ，两类的类条 件概率密度为 P( X / 1 ) 和 P( X / 2 ) 。根据Bayes定理，已知 先验概率和类条件概率密度函数，可求出后验概率 P(i / X )
P( X / i ) P(i ) P(i / X ) P( X )
(W , b, ) ，可得： 通过求导求解 min W ,b
W i yi xi
原对偶问题转化为
n
n
i 1
y