三 实验方案与性能评价
3.1 实验数据的采集
当前关于多生物特征融合的数据库较难采集。在进行
生物特征识别时常常使用的生物特征之间是没有关联的， 因此采用不同生物特征的组合进行实验对实验结果没有影 响，在本试验中，采用已有的人脸数据库，声音和步态数 据库进行组合成为新的多特征数据库。
三 实验方案与性能评价
空间做类内和类间的划分。目前在决策层融合技术[3]研究最 多
的就是基于贝叶斯网络、基于D-S证据理论和基于神经网络 的融合算法。
二 多特征融合的可行性分析
2.2 生物特征的选取
在多特征融合方案中，根据不同的应用场合选取两个 或多个生物特征进行融合；此外，不同的生物特征识别率 也存在着区别，这是多生物特征识别融合必须考虑的问题。
二 多特征融合的可行性分析
2.3 融合策略分析（决策层的融合）
2、把距离和概率归一化。 由于每个模块的匹配模型 不一样，输出的匹配分数形式也不同， 像后验概率、距离等。必须把这些量纲进行归一化，统一到【0，1】 区间。 对于人脸识别，假设有N个欧式距离值{dn}，n=1，2...N, 根据最大最小归一化方法，利用公式（一）得到每个对应模板的匹配 分数score（i），i=1，2，…..N。
重，即如何确定 , , 三个参数的值权重的选取遵循下面的原则：要
能够有效地对不同类别和同一类内不同模板之间进行很好的区分。
s
1 n
( x1
x)2
(x2
x)2
(xn
x)2
二 多特征融合的可行性分析
2.3 融合策略分析（决策层的融合）
4、融合系统权重的算法设计。一般来说，如果一个识 别模型分类后排在第一的类别得到一个很高的匹配分数， 而其他的类别匹配分数都相对比较低，那么我们认为这个 识别系统的可靠性比较高，如果每个类别的匹配分数相差 不大，那么系统的可靠性就比较低。根据这个原则，拟采 用下面的方法来确定整个融合系统的权值： 音如s公c1o式、re（(分v三)别i及）计步所算态示人识。脸别识模别块子匹系配统分的数匹sc配or分e(g数)i的sco标re准(f)差i和。语
参考文献
[1] J. Kittler and K. Messer, “Fusion of multiple experts in multimodal biometric personal identity verification systems,” IEEE Conference 2002.
[2]K. Toh and W. Yan, “Multi-modal biometrics fusion: beyond optimal weighting,” 7th International International Conference on Control, Automation,Robotics, and Vision (ICACV’02), pp. 788-792, Singapore, Dec. 2002.
N
scorei 1
i 1
这时候的匹配分数可以看作测试样本与模板数据库中的每个 样本之间的相似度。
同理可以对声音和步态的识别结果使用类似的方法进行匹配 结果归一化，得到语音和步态的响应的匹配分数。
二 多特征融合的可行性分析
2.3 融合策略分析（决策层的融合）
3、融合权重的分配。 在得到人脸识别子系统和语音及步态的输出匹配分数 后，如何分配权重是整个融合系统的核心问题。这里存在 两个方面的权重分配问题： 一、如何分配各个子系统所占的权重，即人脸识别子 系统得到的匹配分数与语音和步态子系统得到的匹配分数 哪个占的权重大些。 二、如何分配每个子系统内部各个识别结果所占的权 重。
二 多特征融合的可行性分析
2.3 融合策略分析（决策层的融合）
di
d max dn
d d max
min
scorei 2 di N
i 1, 2 , ...... N
公式一 匹配分数计算公式
二 多特征融合的可行性分析
2.3 融合策略分析（决策层的融合）
生物特征识别在实际应用中主要有一对一的身份验证和一对 多的身份识别。在身份识别中，我们假设待识别样本是数据库中 的其中一个，那么必然满足
考虑在远距离视频监控和目标识别应用场合中，选取 较为易于获取的生物特征进行融合将会获得更好的识别效 果。这些生物特征包括人脸、语音和步态。在前面开发的 模式识别自主学习系统中，已经实现了人脸识别，语音识 别和步态识别模块，这也是进行多生物特征融合的基础。
二 多特征融合的可行性分析
2.3 融合策略分析（决策层的融合）
对于语音和人脸的融合，由于人脸识别和语音识别在 单生物特征识别的条件下，已经获得了较高的识别率，这 时采取在较高层次的决策层融合比原始数据层次的融合效 果更好。这个时候最简单有效的是采用加权融合[4,5]的方法， 融合流程如下：
1、对于语音和人脸通道分别通过相应的识别器进行 识别。人脸识别采用算法成熟且效率高的PCA方法，采用 距离分类器进行类别判决，而语音采用GMM算法最后得 到概率，通过概率大小进行判决。
然后，对特征向量组进行聚类。将训练样本分为两类（待定）， 并找到两类的中心，然后通过最近邻法对待测样本（Tf，Tv）通过最 近邻法初步确定样本属于哪个目标类别。最近邻法通过比较未知样本 x 与 N =∑Ni个已知类别样本之间的欧式距离，由此判决 x 与离它最 近的样本同类。
最后在所划定的目标类别中做最后判决，确定样本所属的类别。
因此特征层融合可以归结为多维向量空间的分类问题。
二 多特征融合的可行性分析
2.4 融合策略分析（特征层融合）
特征层融合的处理流程图（图二所示）
图二 特征层融合流程图
二 多特征融合的可行性分析
2.4 融合策略分析（特征层融合） 特征层融合算法的初步想法（用于改进精度和效率）
首先提取人脸特征矢量F和语音特征(lpc倒谱系数)参数矢量V， 组成训练样本中第i个人的特征矢量坐标 （f（Fi），g（Vi））。其中f（Fi）和g（Vi）为对特征向量Fi和Vi进 行归一化的函数，因为Fi和Vi是不同量纲的向量，必须先进行归一化。
一 多特征融合的基本方法
1.2、多特征融合的处理流程图（图一所示）
图一
二 多特征融合的可行性分析
2.1 各层融合[1,2] 的基本特点
数据层的融合:在生物特征样本的采集中利用数据融 合的方法， 对采集的样本进行评估以获得更加有效(或者 更加可信)的生物特征样本。
特征层的融合:对来自不同源的多个生物特征样本(不 同种类、不同个体、不同采集器或者不同采集条件等等) 分别提取特征;或者对单一的生物特征样本利用不同的特 征提取算法来获取样本的特征(全局的、局部的或者纹理 的、细节的), 然后利用数据融合的方法对这些特征进行 处理，得到一个修正的、更加鲁棒的特征模板。
多生物特征融合识别
内容提要
一、 多特征融合的基本方法 二 、多特征融合的可行性分析 三 实验方案与性能评价 四 下一步工作
一 多特征融合的基本方法
1.1、研究背景 随着单生物特征（包括语音，人脸，
指纹，虹膜和签名等）识别技术的不断 成熟，人们开始将研究转移到多特征融 合上以进一步提高识别的精度和准确度。
特征识别(或者称之为单生物特征识别)来说， 匹配层输出的 结果往往是单一的(相似度、 匹配百分数、 汉明距)某种距离 的表达， 然后根据一个确定的阈值， 作出是与非的判别; 但 是对于多生物特征的识别来说，匹配输出的结果往往是一个
多维的向量，向量中的每一个成员都表示一个不同来源的匹
配结果，决策层融合算法的研究目的就是在这样的一个向量
3.2 实验结果的分析与评价 对于实验结果可以从以下两个方面进行分析
与评价： 1、不同的生物特征组合的识别效果以及两个
与两个以上生物特征组合识别效果的比较。 2、多生物特征识别与单生物特征识别的识别
率的比较以及ROC及FAR-FRR性能的分析。
四 下一步工作
针对目前所作的工作，下一步工作的切入点 有二：
二 多特征融合的可行性分析
2.3 融合策略分析（决策层的融合） 3、融合权重的分配。 这里权重的分配所遵循的原则是匹配分数大的所占
权重越大，反而越小。加权后的测试样本最终的匹配分 数计算方法如公式（二）所示：
s ofovog i s(of ) s(ov) s(og), i 1, 2, N
参考文献
[3] A. Noueldin, R. Sharaf, A. Osman, N. El-Sheimy, “ INS/GPS data fusion technique utilizing radial bias functions neural networks,” IEEE PLANS 2004, pp. 280-284, April 2004.
在本试验中我们输入N个人的人脸样本，在特征提取阶 段得到的是N个一维的特征向量：
即F1（F11,F12,……F1M),…, FN(FN1,FN2,……FNM) 同理可以得到语音及其他特征训练后得到的特征向量
即V1（V11,V12,……V1M),…, VN(VN1,VN2,……VNM) 这里的关键问题就是如何对向量组合C(F,V)进行特征关联， 并对这个新的向量组合进行有意义的分类。
[4] A.K. Jain, A. Ross, and S. Prabhakar, “An Introduction to Biometric Recognition,” IEEE Trans. on Circuits and Systems for Video Technology, 14:4-20, 2004.
成为一个新兴领域，它融合了多个学 科的知识，近几年已有不少学者致力于 多特征融合的研究。
一 多特征融合的基本方法
1.2、多特征融合的基本策略 多特征融合技术的一个核心问题就是