. . .
德语模型得分
得 分 归 一 化
. . .
德语模型得分
Pick
识别结果
Max
粤语模型得分 汉语模型得分 吴语模型得分 汉语模型得分
图7 GMM-MMI测试流程
Acoustic系统—GMM-SVM系统
图8 GSV系统框图
GMM-SVM系统
模型训练部分 三个关键部分 1. GMM Super Vector：每条语音，采用最大后验概率（Maximum a posteriori，MAP）准则 ，从UBM 中自适应得到这条语音的GMM 模型，然后将所有高斯的每一维均值向量按照 顺序排列起来，构成一个超矢量作为SVM的输入，就称为GMM Super Vector 2. SVM模型的均值核函数和均值方差核函数 GMM只更新均值时
GMM同时更新均值方差 3. Model-Pushing技术
谢 谢
SDC
VAD
CMS
特征 高斯化
特征端 FA
最终特征
1） MFCC： 语种识别系统中，仅使用MFCC（Mel-Frequency Cepstral Coefficient）的C0~C6前7阶参数， 后面在此基础上，进行SDC扩展。 2）VTLN 声道长度规整（Vocal Tract Length Normalization，VTLN），将每个人的声道规整到统一的长 度上，用来减弱不同发音人带来的影响。
图4 特征提取顺序
3）RASTA RelAtive SpecTrAl这个词组的简称，是Hynek Hermansky等人根据人类语音听觉感知对于 激励源缓变不敏感的这种特性，提出的一种对于语音参数的时间轨迹进行滤波，以便从 语音的参数表示中减小非语音部分的频谱部分的方法，是一种经验性的滤波器：
特征提取模块（2）
MFCC （C0～C6）
训练语料
基于MLE的语种模型 MMI迭代 基于MMI的语种模型
RASTA
SDC
VTLN 特征 选择
VAD
CMS 测试语料 特征高斯化 识别 高斯后端
特征端FA
识别结果
图3 GMM-MMI系统流程图
特征提取模块（1）
VTLN 特征选择
语 音 信 号
MFCC （C0～C6）
RASTA
GMM-MMI系统测试流程
高斯后端分类器
美国英语模型得分 英语模型得分 印度英语模型得分 法语模型得分 法语模型得分 法语模型得分 英语模型得分
各 语 种 测试语句 MMI 模 型
日语模型得分
L D A
. . .
普通话模型得分
测试语句 得分向量
各 语 种 单 高 斯 模 型
日语模型得分
日语模型得分
Acoustic 测试语音 前端语音处理模块 Fusing 识别结果
PR
图1：语种识别系统框架
Acoustic系统介绍
Acoustic系统 基于Acoustic的语种识别由于其稳定性和鲁棒性，在语种识别中获得的广泛的应用， 是历届NIST LRE比赛中不可缺少的基本系统之一。Acoustic系统又包括GMM-MMI 系统和GMM-SVM两种建模方式：
GMM-MMI 测试语音
高斯后端分类器 Acoutic得分 Fusing
架
Acoustic系统--GMM-MMI系统框架
GMM-MMI系统可以分成三大块：特征提取模块、模型训练模块以及测试模块，下面分别介绍三个部分
语音信号
UBM模型 MLE迭代
4） SDC: Shifted Delta Cepstra 也称为移位差分倒谱特征
特征提取模块（3）
（5）Voice Activity Detection--VAD对识别性能影响很大，在语种识别系统中主要采用基于能 量四门限的VAD技术 （6）倒谱均值相减（Cepstral Mean Subtraction，CMS） 基于不变信道的假设一种外部信道估计。信道的噪声可以看成是信道固定的系统畸变和 随机信道传输噪声（认为是白噪声）的和。倒谱参数上减去均值，相应的也就去除了调 制噪声。 （7）特征高斯化 语种识别所用参数，本身都是随机矢量，因而具有相应的概率分布，训练和识别信道的 不匹配也就体现在概率分布的差别上。受实际环境的影响，特征参数的概率分布往往发 生改变。对特征参数进行规整，使得训练和识别时候的特征参数的概率分布比较接近， 这样两者之间不匹配的问题就应该能得到改善。 （8）特征端FA 特征域方法的因子分析可以当成一种鲁棒性前端的算法，就是对特征直接去掉噪声的部 分，得到相对“干净”的数据，主要在于去噪 。
图6 高斯后端训练步骤
•
高斯后端分类器 包括LDA变换矩阵和各语种模型的单高斯的GMM模型。
•
• •
开发集的选择：一般要包括和测试集一样的语种类别，并且数据类型要和测试集尽量的相似 ，并且不能和训练集有任何的重合，否则会造成开发集得分和测试集得分mismatch LDA训练：各语种的测试得分向量通过LDA降维，提取更有区分性的分量，将原始的N维得 分向量减为维数为N-1（N为语种总种类）。 各语种单高斯模型的训练：在开发集上利用LDA得到的各语种的得分向量，训练各语种的单 高斯模型（每个语种一个模型）。
GMM-MMI系统模型训练
UBM训练： 1. K-Means聚类得到UBM模型的初始化模型 2. EM算法迭代训练得到UBM模型
各语种GMM训练 1. 各语种数据在UBM模型基础上MLE估计出各 语种模型 2. MMI区分性准则下训练增加各语种之间的区分度
图5 UBM-GMM训练步骤
GMM-MMI高斯后端训练
语种识别系统介绍
安徽科大讯飞信息科技股份有限公司 Anhui USTC iFlyTEK Co., LTD
提纲
• 语种识别系统框架 • Acoustic-GMM系统介绍 • Acoustic-GSV系统介绍
语种识别系统框架
• 现有语种识别系统的主流方法包括基于Acoustic的方案和基于Phone Recognize的 方案，这两种系统由于建模方法等的差异，具有较好的互补性